Adı geçen bir girişim Letta Yapay zeka modellerinin kullanıcıları ve konuşmaları hatırlamasına yardımcı olan teknolojiyle gizlilikten yeni çıktı. UC Berkeley’in ünlü Labs girişim fabrikasında yaratılan şirket, ayrıca Felicis’in Astasia Myers liderliğinde 70 milyon dolarlık para sonrası değerlemeyle 10 milyon dolarlık tohum sermayesi duyurdu.
Letta’nın arkasında yapay zeka alanında tanınmış melek yatırımcılar da var. Bunlar arasında Google’dan Jeff Dean, Hugging Face’den Clem Delangue, Runway’den Cristóbal Valenzuela ve Anyscale’den Robert Nishihara yer alıyor.
Berkeley doktora öğrencileri Sarah Wooders ve Charles Packer tarafından kurulan bu, büyük bir merakla beklenen bir AI girişim lansmanı. Bunun nedeni, Berkeley’in Sky Computing Lab’ının bir çocuğu olması ve popüler MemGPT açık kaynaklı projesinin ticari kuruluşu olmasıdır.
Berkeley’deki Sky Computing Lab, tanınmış profesör ve Databricks kurucu ortağı Ion Stoica tarafından yönetiliyor ve Anyscale, Databricks ve SiFive gibi şirketleri ortaya çıkaran RISELab ve AMPLab’ın soyundan geliyor. Özellikle Sky Lab, Gorilla LLM, vLLM ve LLM yapılandırılmış dili SGLang gibi çok sayıda popüler açık kaynaklı büyük dil modeli (LLM) projesini doğurdu.
“Bir ton proje çok hızlı bir şekilde, bir yıllık zaman dilimi içinde laboratuvardan çıktı. Sadece yanımızda oturan insanlar,” diye tanımladı Wooders. “Yani inanılmaz bir zamandı.”
MemGPT de böyle bir proje ve o kadar popüler ki daha piyasaya sürülmeden viral oldu.
Packer, TechCrunch’a “Birisi bizi alt etti” dedi. Kurucuların bir teknik rapor yayınladı Perşembe, 12 Ekim 2023’te ve daha derinlemesine bir makale ve kodu ertesi Pazartesi GitHub’da yayınlamayı planladı. Rastgele bir kişi makaleyi buldu, Pazar günü Hacker News’e gönderdi ve “kodu düzgün bir şekilde yayınlama, makaleyi yayınlama veya bir tweet dizisi veya buna benzer bir şey yapma şansımız olmadan Hacker News’de viral oldu” dedi.
Heyecanın sebebi MemGPT’nin LLM’ler için kötü bir sorunu hafifletmesiydi: ChatGPT gibi modeller doğal hallerinde durumsuzdur, yani uzun süreli bellekte geçmiş verileri depolamazlar. Bu, zaman içinde bir kullanıcıyı tanımaya ve ondan öğrenmeye dayanan AI uygulamaları için sorunludur; müşteri destek robotlarından sağlık semptom izleme uygulamalarına kadar her şey. MemGPT, AI temsilcilerinin ve sohbet robotlarının önceki kullanıcıları ve konuşmaları hatırlayabilmesi için verileri ve belleği yönetir.
Packer, gazetedeki gönderinin Y Combinator tarafından yönetilen programcılar için popüler site olan Hacker News’de 48 saat boyunca zirvede kaldığını anlattı. Bu yüzden hafta sonunu ve sonraki birkaç günü sitedeki soruları yanıtlayarak ve kodu yayınlamaya hazır hale getirmeye çalışarak geçirdi. Proje GitHub’da kullanılabilir hale geldiğinde, buna bir bağlantı Hacker News’de tekrar viral oldu. YouTube röportajları ve öğreticiler, Orta yazılar, 11.000 yıldız ve 1,2 bin çatal GitHub’da bu çok hızlı gerçekleşti.
VC Felicis’in Myers’ı da MemGPT hakkında okuduğu yazılarda Wooders ve Packer’ı keşfetti ve bu teknolojinin ticari olanaklarını hemen fark etti.
TechCrunch’a “Makaleyi yayınlandığında gördüm,” dedi ve hemen kuruculara ulaştı. “Yapay zeka aracı altyapısı etrafında bir yatırım temamız vardı ve bunun gerçekten önemli bir bileşeninin, bu sohbet robotlarını ve yapay zeka aracılarını etkili kılmak için veri ve bellek yönetimi olduğunu takdir ettim.”
Kurucu ortaklar, kendilerini ilk seven VC’lere gitmeden önce, Zoom görüşmeleri yaparak Sand Hill Road’da sanal olarak dolaşmaya devam ettiler.
Bu arada Stoica, Dean, Nishihara ve diğer büyük Silikon Vadisi melekleriyle tanışmaları sağladı. Packer, melek yatırımcı sürecinin ne kadar kolay olduğunu anlatırken “Berkeley’deki profesörlerin çoğu, Berkeley’de bulunmanın bir sonucu olarak, çok iyi bağlantılara sahipler,” diye hatırladı. “Bu laboratuvardan ticarileştirilecek projelere göz dikmişler.”
Rekabet ve OpenAI o1 tehdidi
MemGPT halihazırda piyasada ve kullanılıyor olsa da Letta’nın ticari versiyonu Letta Cloud henüz işe başlamadı. Pazartesi itibarıyla Letta, beta kullanıcıları için talepleri kabul ediyor. Geliştiricilerin bulutta durum bilgisi olan ajanları dağıtmalarına ve çalıştırmalarına olanak tanıyan, durumu koruyabilen bir programlama arayüzü olan REST API’leri aracılığıyla erişilebilen barındırılan bir ajan hizmeti sunacak. Letta Cloud, bunu yapmak için gereken uzun vadeli verileri depolayacak. Letta ayrıca AI ajanları oluşturmak için geliştirici araçları da sunacak.
Wooders, MemGPT ile geniş bir kullanım yelpazesi görüyor. “Bence gördüğümüz bir numaralı kullanım örneği temel olarak son derece kişiselleştirilmiş, çok ilgi çekici sohbet robotları,” diyor. Ancak hastaların geçmişlerini yüklediği ve ardından devam eden semptomlarını paylaştığı, böylece botun zamanla öğrenip rehberlik sunabildiği “kanser hastaları için bir sohbet robotu” gibi son teknoloji kullanımlar da var.
MemGPT’nin bu konuda çalışan tek kişi olmadığını belirtmekte fayda var. LangChain muhtemelen en bilinen rakibidir ve halihazırda ticari seçenekler sunmaktadır. En büyük model üreticileri ayrıca OpenAI’nin Assistants API’si gibi AI aracı oluşturma araçları da sunmaktadır.
Ve OpenAI’nin yeni o1 modeli, durumu düzeltme ihtiyacını kullanıcıları için anlamsız hale getirebilir. Çok adımlı bir model olduğu için, yanıt vermeden önce “düşünmek” ve gerçekleri kontrol etmek için temelde bir dereceye kadar durumu korumalıdır.
Ancak Wooders, Packer ve Myers, Letta’nın sunduğu şeyle 800 kiloluk pazar gorili OpenAI’nin yaptığı şey arasında birkaç önemli fark görüyor. Letta, herhangi bir AI modeliyle çalışacağını iddia ediyor ve kullanıcılarının bunların çoğunu kullanmasını bekliyor: OpenAI, Anthropic, Minstrel, kendi yerel modelleri. OpenAI’nin teknolojisi şu anda yalnızca kendisiyle çalışıyor.
Daha da önemlisi, Letta açık kaynaklı MemGPT’yi kullanıyor ve FOSS ile kara kutu LLM tartışmasının açık kaynaklı tarafına kararlı bir şekilde atlıyor ve açık kaynaklı yazılımın AI uygulama programcıları için daha iyi bir seçim olduğunu söylüyor.
Packer, “Kendimizi OpenAI’ye açık bir alternatif olarak konumluyoruz” diyor. “Bence özellikle halüsinasyon gibi şeyleri önemsiyorsanız ve perde arkasında neler olup bittiğini göremiyorsanız, çok iyi AI uygulamaları oluşturmak gerçekten çok ama çok zor.”
