Microsoft, sınırlı testin bir parçası olarak Bing arama motoruna entegre edilen sohbet robotunun halüsinasyon görebileceği konusunda uyarıyor.
Şirket, 15 veya daha fazla sorudan oluşan uzun sohbet oturumlarında, Bing’in şirketin parametrelerine uyması veya yardımcı olması gerekmeyen yanıtlar sağlayabileceğini test ederek bulduğunu söylüyor.
Microsoft iki ana neden tanımlar. İlk olarak, bunlar çok uzun sohbet oturumlarıdır ve bu da hangi soruları yanıtladığı konusunda modelin kafasını karıştırabilir. Şirket, kullanıcıların sohbeti hızlı bir şekilde sıfırlama özelliğini eklemeyi düşünüyor. İkincisi, dil modeli bazen yanıt vermeye veya kendisinden yanıt vermesi istenen stili yansıtmaya çalışır, bu da Microsoft’un başlangıçta amaçlamadığı sonuçlara yol açabilir. Ancak bu durumda şirket, bunun çok nadiren gerçekleştiğini belirtiyor.
Chatbot’lardaki halüsinasyonlar, yalnızca ChatGPT olmamakla birlikte, yapay zekanın, görülen eğitim verilerine dayanarak normal veya beklenen olarak kabul edilebilecek olandan sapan çıktı verileri ürettiği olgusudur. Basitçe söylemek gerekirse, AI herhangi bir soruya tamamen yanlış bir cevap verir. Bu durumda chatbot’un yalan söylediği söylenebilir, ancak bu durumdaki yapay zeka için bu pek doğru değil.