Giderek daha fazla kuruluş, büyük miktarlardaki yapılandırılmamış verileri ve diğer varlıkları kullanılabilir bilgilere dönüştürmek için üretken yapay zeka (genAI) araçlarına yöneldikçe, yapay zeka oluşturma süreci sırasında en alakalı içeriği bulabilmek kritik önem taşıyor.
Artırılmış neslin alınması veya kısaca “RAG”, sorgulara daha doğru ve spesifik yanıtlar sağlayan daha özelleştirilmiş bir genAI modeli oluşturarak tam da bunu yapabilen bir teknolojidir.
Derin öğrenme modelleri olarak da adlandırılan büyük dil modelleri (LLM’ler), genAI teknolojisinin temelini oluşturur; Bir model kullanıma hazır olduğunda geçerliliğini yitirebilecek ve bir göreve özgü olmayabilecek çok miktarda etiketlenmemiş veya yapılandırılmamış veri üzerinde önceden eğitilirler.
Yüksek Lisans’lar milyarlarca, hatta trilyonlarca veya daha fazla parametreden oluşan bir sinir ağından oluşabilir. RAG, bir LLM’nin çıktısını şu şekilde optimize eder: harici bir bilgi tabanına referans verme (erişme) eğitim aldığı bilgilerin dışında. Başka bir deyişle RAG, genAI’nin genellikle bir kuruluşun özel veri kaynaklarından veya yönlendirildiği diğer içeriklerden ilgili harici bilgileri bulmasına ve kullanmasına olanak tanır.
Yalnızca bir Yüksek Lisans’ın bilgi tabanını güçlendirmekle kalmaz, “aynı zamanda çıktılarının doğruluğunu ve bağlamsallığını da önemli ölçüde geliştirir.” Microsoft bir blogda açıkladı.
RAG, esas olarak, ilgili verileri almak ve üretken çıktıyı gerçek ve yeni bilgilerle daha iyi bir şekilde temellendirmek için bunu bir genAI modelinin istemine eklemek için arama işlevini kullanan bir tasarım modelidir.
Gartner Research’e göre “RAG, hem genel internet verilerini almak hem de özel bilgi tabanlarından veri almak için kullanılabilir.”
Patrick Lewis, doğal dil işleme alanında araştırma yapan bir bilim insanıdır. Cohere’i başlatmakRAG terimini ilk olarak 2020’de yayınlanan bir makalede icat etti. Lewis, Yüksek Lisans öğrencilerinin hafızalarını kolayca genişletemediklerini veya gözden geçiremediklerini ve tahminlerine doğrudan içgörü sağlayamadıklarını, bunun da “halüsinasyonlara” yol açtığını belirtti.
Daha geçen hafta Slack, işletmelere yönelik yapay zeka tabanlı araçları tanıttı ve şirketin gen yapay zeka sonuçlarındaki halüsinasyonları azaltmayı umduğu yollardan biri olarak RAG’ı gösterdi.
Cohere’a ek olarak, birden fazla yarım düzine satıcı Geliştiricilerin bir Yüksek Lisans için RAG tabanlı uygulamalar oluşturmaları için yerel veya bağımsız çözümler sağlayın. Onlar içerir Vektara, OpenAI, Microsoft Azure Arama, Google Vertex AI, LangChain, LlamaIndex Ve Veri tuğlaları.
IDC grup başkan yardımcısı Rick Villars şunları söyledi: “RAG ile ilgili çözümler ve insanların bunu daha etkili bir şekilde kullanmasını sağlamak, yalnızca ham üretkenlik iyileştirmelerinin aksine, iş değeri olan doğru verileri bağlamaya odaklanacak.” dünya çapındaki araştırmaların
Gartner’ın seçkin başkan yardımcısı analisti Avivah Litan, RAG ile kuruluşların gerçek girdilere dayalı doğru sonuçlar üretme şansını en üst düzeye çıkarabileceğini söyledi. Ayrıca çıktılar alınan verilerle temellendiğinden halüsinasyon olasılığını da en aza indirir.
RAG ayrıca çalışanların, bir kuruluşun kendi verilerine uygulanan üçüncü taraf LLM’lerin gücünü kullanarak aradıkları bilgileri daha hızlı bulmalarına, özetlemelerine ve kullanmalarına olanak tanır. Ayrıca kuruluşun, telif hakkıyla korunan veya diğer IP korumalı materyallerin LLM yanıtlarına dahil edilmesi durumunda ortaya çıkan sorumluluktan korunmasına da yardımcı olur.
Litan, “Bu olasılık büyük ölçüde azaldı çünkü hızlı yanıtlar kurumsal verilere dayandırılabiliyor” dedi.
Villars, RAG kullanarak iş bilgilerine daha iyi erişmenin bir yolunun, özel verilerden yararlanabilen ve bir kuruluşun iş değerini gerçekten derinlemesine incelemesine olanak tanıyan bir vektör veritabanı ve grafik teknolojileri olduğunu söyledi.
Bir vektör veritabanı, çok miktarda yüksek boyutlu vektör verisini verimli bir şekilde depolar, indeksler ve yönetir; Sonuç olarak şirketler bunları geliştirmek veya mevcut SQL veya NoSQL veritabanlarına ve genAI kullanım senaryolarına ve uygulamalarına vektör arama yetenekleri eklemek için para harcıyor.
Gartner Research’e göre 2026 yılına kadar işletmelerin %30’undan fazlasının temel modellerini ilgili iş verileriyle temellendirmek için vektör veritabanlarını benimsemesi bekleniyor. Gartner, vektör veritabanlarını 2024 için “kritik kolaylaştırıcı” kurumsal teknoloji olarak listeliyor.
Gartner’a göre vektör veritabanlarının popüler kullanım alanları arasında ürün önerileri, benzerlik araması, dolandırıcılık tespiti ve üretken yapay zeka destekli soru-cevap uygulamaları yer alıyor.
Vektör veritabanları yapabilir ve sıklıkla da yapabilir RAG sistemlerinin omurgası olarak hizmet eder. Veritabanları, genellikle metin, resim veya seslerden elde edilen ve matematiksel vektörlere dönüştürülen verileri depolar ve yönetir.
“Bunun diğer kısmı ise uygulama modernizasyonuna geri dönmektir,” dedi Villars. “Günümüzde şirketlerin sahip olduğu en büyük eski kurulum tabanlarından biri, eski istemci-sunucu uygulamaları ve hatta Java üzerine kurulu ilk mobil ve bulut uygulamalarıdır. Bunları bu yapay zeka hikayesinin bir parçası haline getirmek için modernize etmemiz gerekiyor.”
Telif Hakkı © 2024 IDG Communications, Inc.