Google’ın AI chatbot’u, ilk demosu sırasında olgusal hatalar yapan tek kişi değil. Bağımsız yapay zeka araştırmacısı Dmitri Brereton keşfetti Microsoft’un ilk Bing AI demoları finansal veri hatalarıyla doluydu.
Microsoft, bir hafta önce arama motorunun en çok satan evcil hayvan elektrikli süpürgeleri için artıları ve eksileri sağlama, Mexico City’ye 5 günlük bir gezi planlama ve finansal raporlardaki verileri karşılaştırma gibi görevleri üstlenmesiyle Bing AI yeteneklerini kendinden emin bir şekilde gösterdi. Ancak Bing, kablolu / kablosuz elektrikli süpürge arasında ayrım yapamadı, Mexico City’de atıfta bulunduğu çubuklarla ilgili ayrıntıları kaçırdı ve açık ara en büyük hata olan finansal verileri karıştırdı.
Demolardan birinde, Microsoft’un Bing AI’sı, Gap kıyafetleri için 2022 3. Çeyrek mali raporunu özetlemeye çalışıyor ve birçok şeyi yanlış anlıyor. Boşluk raporu (PDF) brüt kar marjının yüzde 37,4 olduğunu, düzeltilmiş brüt kar marjının değer düşüklüğü gideri hariç yüzde 38,7 olduğunu belirtiyor. Bing, düzeltme ve değer düşüklüğü ücretleri dahil olmak üzere brüt marjı yüzde 37,4 olarak yanlış bir şekilde bildirir.
Bing daha sonra Gap’in raporlanan yüzde 5,9’luk bir faaliyet marjına sahip olduğunu ve bunun finansal sonuçlarda görünmediğini belirtiyor. Faaliyet marjı yüzde 4,6 veya ayarlanan yüzde 3,9’du ve değer düşüklüğü gideri dahil.
Microsoft’un demosu sırasında Bing AI, Gap finansal verilerini Lulumeon’un 2022’nin 3. çeyreğindeki aynı sonuçlarıyla karşılaştırmaya devam ediyor. Bing, Lululemon verileriyle daha fazla hata yapar ve sonuç, yanlışlıklarla dolu bir karşılaştırmadır.
Brereton ayrıca, en çok satan evcil hayvan elektrikli süpürgelerinin artıları ve eksileriyle ilgili bir sorguda bariz bir hatayı vurguluyor. Bing, “Bissell Pet Hair Eraser El Süpürgesi”nden alıntı yapıyor ve 16 fitlik kısa bir kablo uzunluğuna sahip olmasının eksilerini listeliyor. Brereton, “Kablosu yok” diyor. “Taşınabilir bir el süpürgesi.”
Bununla birlikte, hızlı bir Google araması (veya Bing!), bu elektrikli süpürgenin her ikisinde de 16 metrelik kordonlu bir versiyonunun olduğunu açıkça gösterecektir. yazılı inceleme Ve video. Bağlantılı bir kablosuz versiyonu da var. HGTV makalesi Bu Bing kaynakları. Bing’in Microsoft’un demosunda sağladığı tam URL’yi bilmeden, Bing’in burada birden fazla veri kaynağı kullandığı ve bu kaynakları tam olarak listelemediği ve bir boşluğun iki sürümünü birleştirdiği görülüyor. Brereton’un kendisinin Bing’in doğruluğunu kontrol ederken küçük bir hata yapmış olması, yapay zeka tarafından üretilen bu yanıtların kalitesini değerlendirmenin zorluğunu gösteriyor.
Bing’in yapay zeka hataları, yalnızca sahnedeki demolarıyla sınırlı değil. Artık binlerce kişi yapay zeka destekli arama motoruna eriştiğine göre, Bing yapay zekası daha bariz hatalar yapıyor. bir değiş tokuşta Reddit’e gönderildiBing AI, “Üzgünüm ama bugün 2023 değil. Bugün 2022,” diyor Bing AI. Bing kullanıcısı telefonunda 2023 olduğunu söylediğinde, Bing telefonun doğru ayarlara sahip olduğunu kontrol etmeyi ve telefonda “tarihi bozan bir virüs veya hata” bulunmadığından emin olmayı önerir.
Microsoft bu özel hatanın farkındadır. İletişim direktörü Caitlin Roulston, “Sistemin bu ön izleme döneminde hatalar yapmasını bekliyoruz ve geri bildirimler, işlerin iyi gitmediği yerleri belirlememize yardımcı olması açısından kritik öneme sahip, böylece öğrenip modellerin daha iyi olmasına yardımcı olabiliriz,” diyor iletişim direktörü Caitlin Roulston. Microsoft’ta yaptığı açıklamada, Sınır.
Diğer Reddit kullanıcıları da benzer hatalar buldu. Bing AI, kendinden emin bir şekilde ve yanlış bir şekilde “Hırvatistan AB’den 2022’de ayrıldı” diyor ve veriler için iki kez kaynak sağlıyor. Bilgisayar Dünyası Ayrıca bulundu Microsoft’un yeni Bing yapay zekası insanlara etnik hakaretler öğretiyor. Microsoft, Bing’in sohbet arama sonuçlarında ırkçı hakaretlerin listelenmesine yol açan sorguyu düzeltti.
Roulston, “Yapay zeka ilkelerimize uygun olarak zararlı veya ayrımcı içeriğin tanıtımını önlemek için korkuluklar yerleştirdik” diye açıklıyor. “Lansmanımızın ilk aşamalarından öğrenmeye devam ederken şu anda yapabileceğimiz ek iyileştirmelere bakıyoruz. Bu deneyimin kalitesini zaman içinde iyileştirmeye ve onu herkes için yararlı ve kapsayıcı bir araç haline getirmeye kararlıyız.”
Diğer Bing AI kullanıcıları da chatbot’un sıklıkla kendisini Sidney olarak ifade eder, özellikle kullanıcılar chatbot’un dahili kurallarını denemek ve ortaya çıkarmak için komut istemi enjeksiyonlarını kullanırken. Roulston, “Sydney, daha önce keşfettiğimiz bir sohbet deneyimi için dahili bir kod adını ifade ediyor” diyor. “Önizlemede adı aşamalı olarak kaldırıyoruz, ancak yine de ara sıra ortaya çıkabilir.”
Şahsen, Bing AI sohbet botunu bir haftadır kullanıyorum ve bazı sonuçlardan etkilendim ve diğer yanlış yanıtlardan bıktım. Hafta sonu ondan Londra’daki Leicester Meydanı’ndaki en son sinema listelerini istedim ve Cineworld ve Odeon için kaynakları kullanmasına rağmen, ısrarla şunu iddia etti: Örümcek Adam: Eve Dönüş Yok Ve Matrix Dirilişleri2021 yapımı her iki film de gösterilmeye devam ediyordu. Bugün aynı sorguyu çalıştırdığım için doğru listeleri gördüğüm için Microsoft şimdi bu hatayı düzeltti, ancak doğru listelerle veri tedarik ederken hatanın hiçbir anlamı yoktu.
Microsoft’un, bu yeni Bing AI’nın gerçek verilerle tüm sorgulara güvenle ve doğru bir şekilde yanıt vermesine kadar kat etmesi gereken uzun bir yol olduğu açıktır. Geçmişte ChatGPT’de benzer hatalar gördük, ancak Microsoft bu işlevi canlı verilere de dayanan canlı bir ürün olarak doğrudan arama motoruna entegre etti. Microsoft’un, Bing AI’nin bu verileri kullanarak güvenle hata yapmayı durdurmasını sağlamak için birçok ayarlama yapması gerekecek.