OpenAI’nin ChatGPT’si gibi büyük dil modellerinin (LLM’ler) tümü aynı sorundan muzdariptir: bir şeyler uydururlar.
Hatalar garip ve zararsız olabilir; örneğin Golden Gate Köprüsü’nün yıkıldığını iddia etmek gibi. taşınan 2016’da Mısır’da yaşananlar son derece sorunlu, hatta tehlikeliydi.
Geçtiğimiz günlerde Avustralya’da bir belediye başkanı tehdit etti Dava açmak OpenAI çünkü ChatGPT yanlışlıkla büyük bir rüşvet skandalında suçunu kabul ettiğini iddia etti. Araştırmacılar Yüksek Lisans halüsinasyonlarının, kötü amaçlı kod paketlerini şüphelenmeyen yazılım geliştiricilere dağıtmak için kullanılabileceğini keşfettiler. Ve Yüksek Lisans’lar sıklıkla şarap tüketimi gibi kötü zihinsel sağlık ve tıbbi tavsiyeler veriyor olabilmek “kanseri önlemek.”
Bu “gerçekleri” icat etme eğilimi, halüsinasyon olarak bilinen bir olgudur ve bu, günümüzün yüksek lisans eğitimlerinin (ve hatta tüm üretken yapay zeka modellerinin) geliştirilme ve eğitilme şeklinden kaynaklanmaktadır.
Eğitim modelleri
Üretken yapay zeka modellerinin gerçek bir zekası yoktur; bunlar kelimeleri, görüntüleri, konuşmayı, müziği veya diğer verileri tahmin eden istatistiksel sistemlerdir. Genellikle halka açık ağlardan alınan çok sayıda örnekle beslenen yapay zeka modelleri, çevredeki verilerin bağlamı da dahil olmak üzere verilerin kalıplara dayalı olarak oluşma olasılığının ne kadar olduğunu öğreniyor.
Örneğin, “İleriye bakıyorum…” parçasıyla biten tipik bir e-posta verildiğinde, bir Yüksek Lisans eğitimi aldığı sayısız e-postanın modelini takip ederek bunu “… geri duymak için” ile tamamlayabilir. Bu LLM’nin herhangi bir şeyi sabırsızlıkla beklediği anlamına gelmez.
Ph.D. Sebastian Berns, “Yüksek Lisans eğitiminin mevcut çerçevesi, bağlam için önceki kelimelerin gizlenmesini veya ‘maskelenmesini’ içeriyor” ve modelin, gizlenen kelimelerin yerine hangi kelimelerin geçmesi gerektiğini tahmin etmesini içeriyor. Londra Queen Mary Üniversitesi’ndeki araştırmacılar TechCrunch’a bir e-posta röportajında dedi. “Bu, kavramsal olarak iOS’ta tahminli metin kullanmaya ve önerilen sonraki kelimelerden birine sürekli olarak basmaya benzer.”
Bu olasılığa dayalı yaklaşım, çoğunlukla büyük ölçekte oldukça iyi çalışıyor. Ancak kelimelerin aralığı ve olasılıkları büyük ihtimalle anlamlı bir metin elde etmek kesin olmaktan uzaktır.
Yüksek Lisans’lar, örneğin Altın Kapı hakkındaki iddia gibi dilbilgisi açısından doğru ancak anlamsız bir şey üretebilir. Ya da eğitim verilerinde yanlışlıklar yayarak yanlış bilgileri dile getirebilirler. Veya kurgusal kaynaklar da dahil olmak üzere farklı bilgi kaynaklarını, bu kaynaklar birbiriyle açıkça çelişse bile birleştirebilir.
LLM’ler açısından kötü niyetli değil. Kötü niyetleri yoktur ve doğru-yanlış kavramları onlar için anlamsızdır. Onlar sadece belirli kelimeleri veya cümleleri belirli kavramlarla ilişkilendirmeyi öğrendiler, bu ilişkilendirmeler doğru olmasa bile.
Berns, “‘Halüsinasyonlar’ bir yüksek lisans kurumunun kendi tahmininin belirsizliğini tahmin edememesiyle bağlantılıdır” dedi. “Bir Yüksek Lisans tipik olarak, girdi eğitim verilerinden çok farklı olsa bile her zaman bir çıktı üretecek şekilde eğitilir. Standart bir Yüksek Lisans’ın, bir soruyu güvenilir bir şekilde yanıtlayıp yanıtlayamayacağını veya bir tahminde bulunup bulunamayacağını bilmenin herhangi bir yolu yoktur.”
Halüsinasyonu çözme
Soru şu; halüsinasyon çözülebilir mi? Bu, “çözüldü” derken neyi kastettiğinize bağlı.
Allen Yapay Zeka Enstitüsü’nde uygulamalı araştırmacı ve mühendis olan Vu Ha şunu iddia ediyor: Yüksek Lisans’lar “her zaman halüsinasyon görür ve görecektir.” Ancak aynı zamanda, bir Yüksek Lisans eğitiminin nasıl eğitildiğine ve konuşlandırıldığına bağlı olarak halüsinasyonları ortadan kaldırmasa da azaltmanın somut yolları olduğuna da inanıyor.
Ha, e-posta yoluyla “Bir soru yanıtlama sistemi düşünün” dedi. “Soru ve yanıtlardan oluşan yüksek kaliteli bir bilgi tabanı oluşturarak ve bu bilgi tabanını, erişime benzer bir süreç yoluyla doğru yanıtlar sağlamak üzere bir Yüksek Lisans ile bağlayarak, yüksek doğruluk elde edecek şekilde tasarlamak mümkündür.”
Ha, yararlanılacak “yüksek kaliteli” bilgi tabanına sahip bir Yüksek Lisans ile veri iyileştirmenin daha az dikkatli olduğu bir yüksek lisans arasındaki farkı gösterdi. “Toolformer makalesinin yazarları kimlerdir?” sorusunu sordu. (Toolformer, Meta tarafından eğitilmiş bir yapay zeka modelidir) Microsoft’un Yüksek Lisans destekli Bing Chat ve Google’ın Bard’ı aracılığıyla. Bing Chat, sekiz Meta ortak yazarının tamamını doğru bir şekilde listelerken Bard, makaleyi Google ve Hugging Face’teki araştırmacılara yanlış atfetti.
“Konuşulan herhangi bir Yüksek Lisans tabanlı sistem halüsinasyon görecektir. Asıl soru, faydaların halüsinasyonun neden olduğu olumsuz sonuçtan daha ağır basıp basmadığıdır” dedi Ha. Başka bir deyişle, bir modelin bariz bir zararı yoksa (örneğin, model arada bir tarih veya isim yanlışı yapıyorsa) ancak bunun dışında faydalıysa, o zaman ödün vermeye değer olabilir. “Bu, yapay zekanın beklenen faydasını en üst düzeye çıkarma meselesi” diye ekledi.
Berns, LLM’lerdeki halüsinasyonları azaltmak için kısmen başarıyla kullanılan başka bir tekniğe dikkat çekti: insan geri bildiriminden takviyeli öğrenme (RLHF). OpenAI tarafından 2017’de tanıtılan RLHF, bir Yüksek Lisans eğitimi almayı, ardından bir “ödül” modeli yetiştirmek için ek bilgi toplamayı ve aracılığıyla ödül modeliyle Yüksek Lisans’a ince ayar yapmayı içerir. takviyeli öğrenme.
RLHF’de, önceden tanımlanmış bir veri kümesinden gelen bir dizi istem, yeni metin oluşturmak için bir LLM’den geçirilir. Daha sonra, LLM’den elde edilen çıktıları, ödül modelini eğitmek için kullanılan veriler olan genel “yararlılıkları” açısından sıralamak için insan açıklamacılar kullanılır. Bu noktada herhangi bir metni alıp ona insanların onu ne kadar iyi algıladığına dair bir puan atayabilen ödül modeli, daha sonra LLM’nin oluşturulan yanıtlarına ince ayar yapmak için kullanılıyor.
OpenAI, GPT-4 de dahil olmak üzere birçok modelini eğitmek için RLHF’den yararlandı. Ancak Berns, RLHF’nin bile mükemmel olmadığı konusunda uyardı.
Berns, “LLM’leri RLHF ile tamamen ‘uyumlaştırmak’ için olasılıklar alanının çok geniş olduğuna inanıyorum” dedi. “RLHF ortamında sıklıkla yapılan bir şey, bir modeli ‘Bilmiyorum’ yanıtı üretecek şekilde eğitmektir. [to a tricky question], öncelikle insan alanı bilgisine güvenmek ve modelin bunu kendi alan bilgisine genelleştirmesini ummak. Çoğu zaman öyle olur ama biraz titizlik gerektirebilir.”
Alternatif felsefeler
Halüsinasyonun çözülebilir olmadığını varsayarsak, en azından günümüzün yüksek lisans eğitimlerinde bu kötü bir şey mi? Aslında Berns öyle düşünmüyor. Halüsinasyonlu modellerin “ortak yaratıcı bir ortak” olarak hareket ederek yaratıcılığı ateşleyebileceğini öne sürüyor; tamamen gerçeklere dayalı olmasa da yine de üzerinde durulacak bazı yararlı konular içeren çıktılar veriyor. Halüsinasyonun yaratıcı kullanımları çoğu insanın aklına gelmeyecek sonuçlar veya fikir kombinasyonları üretebilir.
“Bir kişinin uzman olarak Yüksek Lisans’a güvendiği senaryolarda, oluşturulan ifadeler gerçekte yanlışsa veya herhangi bir genel insani, sosyal veya belirli kültürel değeri ihlal ediyorsa ‘halüsinasyonlar’ bir sorundur” dedi. “Ancak yaratıcı veya sanatsal görevlerde beklenmedik çıktılar ortaya çıkarma yeteneği değerli olabilir. Bir insan alıcı, bir soruya verilen yanıt karşısında şaşırabilir ve bu nedenle, yeni fikirler bağlantısına yol açabilecek belirli bir düşünce yönüne itilebilir.
Ha, günümüzün Yüksek Lisans’larının mantıksız bir standartta tutulduğunu savundu; sonuçta insanlar da gerçeği yanlış hatırladığımızda veya başka bir şekilde yanlış temsil ettiğimizde “halüsinasyon görüyor”. Ancak yüksek lisanslarda bilişsel bir uyumsuzluk yaşadığımıza inanıyor çünkü modeller yüzeyde iyi görünen ancak daha sonra incelendiğinde hatalar içeren çıktılar üretiyor.
“Basitçe söylemek gerekirse, tüm yapay zeka teknikleri gibi Yüksek Lisans’lar da kusurludur ve bu nedenle hata yapar” dedi. “Geleneksel olarak, kusurları beklediğimiz ve kabul ettiğimiz için yapay zeka sistemlerinin hata yapmasına razıyız. Ancak Yüksek Lisans’ların hata yapması daha incelikli oluyor.”
Aslında cevap, üretken yapay zeka modellerinin teknik düzeyde nasıl çalıştığında yatmayabilir. Günümüzde halüsinasyona bir “çözüm” olduğu sürece, modellerin tahminlerine şüpheci bir gözle yaklaşmak en iyi yaklaşım gibi görünüyor.
