Agentic RAG, günümüzde üretken AI (genAI) araçlarından kaynaklanan halüsinasyonları azaltmanın veya satıcının cüretkarlığına bağlı olarak ortadan kaldırmanın pratik bir yolu olarak çok fazla ilgi görüyor. Ne yazık ki, halüsinasyonları azaltmayabilir – ancak başka sorunlara kapı açabilir.
Açık olmak gerekirse, Agentic RAG’ın (geri alma artırılmış üretimi anlamına gelir) kötü bir tarafı yok; bazı kullanıcılar için iyi çalışıyor, ancak diğerleri için yetersiz, pahalı, emek yoğun ve temel vaatlerini her zaman yerine getirmiyor.
Agentic RAG, ek veri tabanlarının ve veri kaynaklarının entegrasyonuna izin verecek şekilde tasarlanmıştır, böylece bir genAI algoritması ilk bulguları için daha geniş bir bilgi yelpazesine sahip olur. Ancak AI’yı yönetmek için AI kullanmak — kısacası, daha da fazlası Denkleme yapay zekayı dahil etmek her zaman daha iyi sonuçlar üretmez.
Bu konuyu bilmesi gereken iki genAI uzmanıyla konuştum: Rasa’da CTO olan Alan Nichol ve aracılık uzmanı Sandi Besen.
“Agentic RAG gereksiz bir moda sözcük,” dedi Nichol. “Bu sadece, [large language models] ve geri alma çağrıları. Pazar, koda ek bir ‘while’ döngüsü veya ‘if’ ifadesi eklemenin yeni, oyun değiştiren bir yöntem olarak lanse edildiği garip bir yerde. Son teknoloji web aracıları yalnızca %25’lik bir başarı oranına ulaşıyor, bu da herhangi bir yazılım bağlamında kabul edilemez bir rakam.
“Şirketler ve geliştiriciler, normal kodda bazı iş mantığını açıkça inşa ederek daha iyi durumda olurlardı,” dedi. “Kullanıcı girdisini yapılandırılmış biçimlere dönüştürmek ve arama sonuçlarının çıktısını daha doğal hale getirmek için LLM’leri kullanabilirler.”
Nichol, Agentic RAG’ın kurumsal veri analitiği ihtiyaçları için genellikle yanlış yaklaşım olduğunu savundu. “Agentic RAG, sorunu düşünmenin yanlış yoludur,” dedi. “İyi performans gösteren herhangi bir RAG, üzerine biraz LLM sihri serptiğiniz basit bir arama motorundan ibarettir.”
Bu taktik işe yarayabilirken, BT “bu (halüsinasyon) sorununu çözmenin yolunun bir LLM çağrısı daha eklemek olduğunu” düşünmeyi bırakmalı, dedi Nichol. “İnsanlar bu tür bir yaklaşımın kök sorunu sihirli bir şekilde çözeceğini umuyor.”
Peki asıl sorun nedir? Veri kalitesi.
Nichol, “Verilerini temizlemedikleri için kötü bir geri alma sistemi kurmuş” olan işletmelerle sık sık karşılaştığını söyledi. Sürüm oluşturma ve veri çatışmalarıyla başa çıkma gibi güncel olmayan bilgileri temizlemek sıkıcı ve çekici değil. Bunun yerine, sahip oldukları tüm veri sorunlarını örtbas etmek için yedi tane daha LLM çağrısı ekliyorlar. Bu, LLM’ye çok fazla iş yükleyecek ve çok iyi sonuç vermeyecek.
“Sorununuzu çözmeyecek ama öyle hissettirecek.”
IBM’de uygulamalı yapay zeka araştırmacısı olan Besen, etkenliğin halüsinasyonları azaltabileceğini savunuyor ancak Nichol’un her zaman en iyi kurumsal yaklaşım olmayabileceği konusundaki görüşüne katılıyor.
Besen, zaten karmaşık olan bir genAI paketine karmaşıklık eklemenin beklenmedik sorunlara yol açabileceği konusunda uyarıyor.
“Ajanların (sayısını) artırdığınızda, çözümün değişkenliğini de doğal olarak artırmış olursunuz,” dedi. “Ancak, yerinde uygun mimariyle – yani ajan ekibinin [is] etkili bir şekilde inşa edildiğinde ve yeterli bir şekilde yönlendirildiğinde, değerlendirme ve muhakeme inşa edebileceğiniz için halüsinasyon olasılığı azaltılmalıdır. Örneğin, içeriği geri alan bir aracınız ve geri alınan bilginin orijinal soruyu cevaplamak için alakalı olup olmadığını değerlendiren başka bir aracınız olabilir. Geleneksel RAG ile, geri alınan bilginin alakalı olup olmadığına dair doğal dil muhakemesi kontrolü yoktu.”
Programlamadaki diğer her şey gibi, bu da istenen sonuçları verebilir veya vermeyebilir. “Bunu çok başarılı kılmanın bir yolu ve berbat etmenin bir yolu var. İşin sırrı beklentilerimizi teknolojinin yeteneklerine göre belirlemek,” diyor Besen. “Bir etkenin yeteneği, ancak arkasındaki dil modeli kadar iyidir. Muhakeme yeteneği dil modeline bağlıdır.”
Bununla birlikte Besen, bazı AI satıcılarının iddia ettiğinin aksine, ajansal RAG’ın en iyi dağıtımının bile halüsinasyonları asla ortadan kaldırmayacağını vurguladı. “Şu anda halüsinasyonları tamamen ortadan kaldırmak imkansız. Ancak halüsinasyonlarda bir azalma olabilir.”
Bu belirsizliğin ve zaman zaman yanlış cevap verme riskinin katlanabilecekleri bir şey olup olmadığına karar vermek BT yöneticilerine kalmış. Besen, “Her seferinde aynı sonucu istiyorsanız, genAI kullanmayın” dedi. Besen, ara sıra görülen halüsinasyonları kabul etmeye gelince, BT’nin bunu yapan bir çalışan veya yükleniciye nasıl tepki vereceğini düşünmesini önerdi.
“Zamanının %10’unda yanlış giden bir çalışanınız olması sizin için sorun olur mu?”