Hindistan’ın dil çeşitliliği göz önüne alındığında, dijital içerik şirketleri içerikleri doğru bir şekilde gösterme ve çevirme konusunda zaten bir zorlukla karşı karşıya. Google da ülkede yakın zamanda kullanıma sunulan AI genel bakışlarıyla benzer bir sorunla karşı karşıya.
Şirket, Ağustos ayının başlarında ülkede AI genel bakışları için Hintçe desteğini tanıttı. Hindistan’daki kullanıcılar ayrıca arama sayfasından ayrılmadan Hintçe ve İngilizce arasında geçiş yapabilirler. Ancak özellik hayal kırıklığı yaratacak kadar tutarsızdır.
Basit bir örnek, Google’ın blogundan seçtiğimiz bir sonuçtu. GIF, “Çayda şeker yerine ne kullanılır?” anlamına gelen “Cheeni ki jagah chai mai kya daal sakte hai?” sorusuna bir cevap gösterdi. Test sırasında kelimelerin sırasını “Chai mai cheeni ke jagah kya daal sakte hai?” olarak değiştirdik ve Google basitçe bir cevap göstermedi.
Fark ettiğimiz bir diğer sorun da İngilizce kelimeleri kelimesi kelimesine çevirmekti. “Yazın ne tür yiyecekler yiyebiliriz?” diye Hintçe sorduğumuzda cevaplardan biri “Chiknai wali cheezien” oldu ki bu “Yapışkan şeyler” anlamına geliyor ve bu kafa karıştırıcı. İngilizceye geçtiğimde Google bana “Yağlı” ve “yapışkan”dan çok farklı bir şey olan “Yağlı” seçeneğini gösterdi. Her iki durumda da, biraz garip bir öneri.
Başka bir örnekte, YouTube’un mülkiyeti hakkında soru sorduğumuzda, AI genel bakışları Hintçe “16 Şubat 2023’e kadar Neal Mohan Google’ın CEO’suydu” dedi, bu yanlıştır. İngilizce metinde “16 Şubat 2023 itibarıyla Neal Mohan Google CEO’sudur” ifadesinin doğru versiyonu vardı.
Niteliksel sorunlar da var. Basit bir cevap almak yerine “Bu yıl Diwali ne zaman?” diye sorduğumuzda, geçen yılki Diwali hakkında bir paragraf, ardından bir bağlantılar karuseli ve Daha sonra Aradığımız asıl cevap.
Baharatlı yiyeceklerin hem Hintçe hem de İngilizce olarak birden fazla kez yenilip yenemeyeceğini sorduğumuzda, yapay zeka genel bakışı aracılığıyla tutarsız yanıtlar aldık.
Ancak, adet ve hamilelik gibi diğer konularla ilgili daha endişe verici sonuçlar da var. Evlendikten sonra çocuk sahibi olmayı ne zaman düşünmeleri gerektiğiyle ilgili sorularımızdan biri için, genel bakış cevabının ilk paragrafında çiftlerin en az iki yıl beklemeleri gerektiği, kafa karıştırıcı bir Hintçeyle söylendi.
Ayrıca, birisi 25 yaş civarında evlenirse, “üç yıl” süresi olduğunu da belirtti – ne için olduğunu belirtmeden. Bu paragraf, görünüşe göre, Quora ve diğer bloglardaki çeşitli görüşlere dayanarak bilgileri yazan bir Hint haber sitesinde Hintçe bir slayt gösterisi makalesinden kaynaklanmıştır.
Adet döneminde hangi yiyeceklerin yenmesi gerektiğini sorduğumuzda, bazı yanıtlar “Birçok şeyle birlikte süt içmek” ve ruh hali değişimleri için Limon önerdi.
Google’ın AI genel bakışı da bağlamı kaçırıyor, Delhi’deki yemek yerlerini sorduğumuzda, Sihler için bir ibadet yeri olan Bangla Sahib Gurudwara’nın günün her saati açık olduğunu ve Samosa ve Kachori gibi çay ve Hint atıştırmalıkları alabileceğinizi söyledi. Ancak, bu kaynak makalenin yaptığı önemli bir şeyden bahsetmeyi başaramıyor: bu ürünleri alabileceğinizden dıştan Gurudwara, AI aracının özetleme sırasında kaçırdığı bir işlevsel kelime. Atıştırmalıklar ibadet yerinde değildir.
Benzer soruların İngilizce’deki bazı sonuçları Hintçe olanlardan çok daha iyi. Bunun nedeni kısmen o dilde daha fazla ve daha iyi kaynakların bulunması olabilir. Ancak vurguladığımız bazı sorunlar Google sistemlerinin hatalarından kaynaklanıyordu, örneğin bağlam dışı özetler ve yanlış çeviriler. Google Hindistan’daki arama ve dil sorunları üzerinde çalıştı ve ilk seferde daha iyi bir sonuç vermesi bekleniyor.
Google, TechCrunch’a yaptığı açıklamada, yapay zeka genel bakışlarının yalnızca çıktının kalitesine yüksek güven duydukları sorgularda göründüğünü belirterek, bu özelliğin “temel arama kalitesi sistemlerimizde köklü” olduğunu ve “yalnızca en iyi web sonuçları tarafından desteklenen bilgileri göstereceğini” söyledi.
“Testlerimiz, AI Genel Bakışlarının doğruluk oranının Öne Çıkan Parçacıklar gibi diğer özelliklerle aynı seviyede olduğunu gösteriyor. Sorunlar ortaya çıktığında, sistemlerimizin web içeriğini yanlış yorumlaması veya web’de yanlışlıkları yansıtması sonucu ortaya çıkabilir ve biz bu örnekleri, tüm Arama özelliklerinde yaptığımız gibi, iyileştirmek için kullanırız,” dedi bir Google sözcüsü TechCrunch’a.
Google, alıntıladığı kaynakların kalitesini suçlayabilir. Ancak, sorunun ve kaynakların AI tarafından özetlenmeye değer olduğuna karar veren Google’ın algoritmasıdır. Tüm kullanıcılar kaynak sitelerdeki materyale bakıp yalnızca Google’ın yanlış veya anlaşılmaz yanıtlar gösterdiğini düşünmeyecektir.
Yapay zeka genel bakışları Google için hayal kırıklığı yaratan bir çaba oldu. Bu yılın başlarında şirket, Reddit’ten gelen yanıtları ortaya çıkardığı için çok fazla eleştiri aldı pizzaya tutkal ekleyecek bir kullanıcı. AI genel bakışları başka bir kullanıcıya “ye” demesini söyledigünde bir küçük kaya” kaynağından alınan bir cevap SoğanHintçe dilinde test ettiğimiz örneklerin çoğu konu hakkında doğru bilgi vermiyordu.
Hindistan’ın 1000’den fazla 830 milyon internet kullanıcısıve bunların büyük bir kısmı arama için Google kullanıyor. Şirket daha fazla kişinin yerel dillerde AI genel bakışını kullanmasını istiyorsa, dil ve içerik doğruluğu açısından oyununu geliştirmesi gerekecek.