Geçen sonbaharda, OpenAI’nin GPT-4’ün öncülü olan GPT-3 metin üreten yapay zeka modeliyle biraz uğraştıktan sonra, eski Uber araştırma bilimcisi Jerry Liu, modelin özel verilerle çalışma yeteneği etrafında “sınırlamalar” olarak tanımladığı şeyleri keşfetti (örn. kişisel dosyalar). Bunu çözmek için açık kaynaklı bir proje başlattı. LamaIndexGPT-3 ve GPT-4 gibi büyük dil modellerinin (LLM’ler) özelliklerini ve kullanım örneklerini ortaya çıkarmak için tasarlanmıştır.
TechCrunch’a bir e-posta röportajında Liu, “LLM’ler bilgi çıkarma ve akıl yürütme için inanılmaz yetenekler sunuyor – soru cevaplama, özetleme ve içgörü çıkarma ve hatta harici bir ortamla sıralı karar verme işlemlerini gerçekleştirebilirler” dedi. “Ancak LLM’lerin sınırları vardır.”
Projenin popülaritesi arttıkça (aylık 200.000 indirmeye kadar), Liu, LlamaIndex’i tam teşekküllü bir şirkete dönüştürmek için Uber’deki eski meslektaşlarından biri olan Simon Suo ile güçlerini birleştirdi. Bugün, LlamaIndex (şirket), geliştiricilerin kişisel veya kurumsal verilerinin yanı sıra LLM’lerin yeteneklerinden yararlanmalarına yardımcı olacak bir çerçeve sunmaktadır.
“LlamaIndex [helps] geliştiriciler verilerini LLM uygulamaları için yönetiyor,” dedi Liu. “Araç setimiz bu açıdan en derin bilgileri içeriyor ve geliştiricinin kullandığı diğer araçlarla entegrasyonu kolaylaştırıyoruz.”
Görsel Kaynakları: LamaIndex
LlamaIndex çerçevesi, geliştiricilerin PDF’ler, PowerPoint’ler gibi dosyalardan, Notion ve Slack gibi uygulamalardan ve Postgres ve MongoDB gibi veritabanlarından gelen verileri LLM’lere bağlamasına olanak tanır. Çerçeve, veri kaynaklarını ve veri biçimlerini almak için bağlayıcıların yanı sıra LLM’lerle kolayca kullanılabilmesi için verileri yapılandırmanın yollarını içerir.
Buna ek olarak, LlamaIndex, geliştiricilerin Liu’nun tanımladığı gibi “bağlam ve bilgiyle zenginleştirilmiş” çıktıyı geri almak için herhangi bir LLM giriş isteminde beslemesine olanak tanıyan bir veri alma ve sorgulama arabirimi içerir.
Liu, “LLM uygulamaları ve aracıları için temel yapı taşları sunan başka LLM uygulama çerçeveleri var” dedi. “LlamaIndex’e özgü olan şey, veri kaynaklarınızı LLM’ler ile bağlamaya odaklanmamız ve LLM uygulamalarına ilişkin olarak veri alımı, veri yönetimi ve indeksleme ve veri alma konularında kapsamlı araçlarımız olması.”
LLM’leri bu şekilde artırma olasılığı, yakın zamanda kapatılan bir tohum finansman turunda LlamaIndex’e 8,5 milyon dolar taahhüt eden yatırımcıları cezbetti. Greylock, aralarında Jack Altman, Lenny Rachitsky ve Charles Xie’nin de bulunduğu melek yatırımcıların katılımıyla liderliğini sürdürdü.
Peki LlamaIndex parayı neye harcayacak? Liu, bunun, bu yılın sonlarında piyasaya sürülecek olan açık kaynaklı LlamaIndex projesinin üzerine bir “kurumsal çözüm” oluşturmak için kullanılacağını söylüyor. Bir yetenek, müşterilerin büyük hacimli verileri ayrıştırmak ve taşımak için “koruma sınıfı” veri konektörlerini kullanmasına olanak tanırken, ilgili başka bir özellik, müşterilerin “etki alanına özgü” verileri dizine eklemesine olanak tanır.
Liu, “LlamaIndex belirli bir teknoloji parçasına bağlı değildir, bu nedenle teknoloji geliştikçe LLM’lerle kullanılmaya devam edebiliriz,” dedi. “Yapay zeka endüstrisi o kadar hızlı hareket ediyor ki, ortaya çıkan ilk yığınlar muhtemelen önümüzdeki birkaç ay içinde değişecek.”