Meta’nın yapay zeka çalışmalarına liderlik eden yöneticiler ve araştırmacılar, Llama 3’ü geliştirirken OpenAI’nin GPT-4 modelini geçme konusunda takıntılıydı. Salı günü mahkeme tarafından mühürlenen dahili mesajlar Şirketin devam eden AI telif hakkı davalarından biri olan Kadrey v. Meta.
Meta’nın Üretken Yapay Zeka Başkan Yardımcısı Ahmad Al-Dahle, Ekim 2023’te Meta araştırmacısı Hugo Touvron’a gönderdiği bir mesajda “Dürüst olmak gerekirse… Hedefimizin GPT-4 olması gerekiyor” dedi. “64k GPU’larımız geliyor! Sınırları nasıl inşa edeceğimizi ve bu yarışı nasıl kazanacağımızı öğrenmemiz gerekiyor.”
Meta açık yapay zeka modelleri yayınlasa da şirketin yapay zeka liderleri, Anthropic ve OpenAI gibi genellikle modellerinin ağırlıklarını açıklamayan ve bunun yerine onları bir API’nin arkasına bağlayan rakipleri yenmeye çok daha fazla odaklandılar. Meta’nın yöneticileri ve araştırmacıları, Anthropic’in Claude’unu ve OpenAI’nin GPT-4’ünü üzerinde çalışılacak altın standart olarak kabul etti.
Meta’nın en büyük açık rakiplerinden biri olan Fransız AI girişimi Mistral, dahili mesajlarda birkaç kez bahsedildi, ancak üslup küçümseyiciydi.
Al-Dahle bir mesajında ”Mistral bizim için fıstıktır” dedi. Daha sonra “Daha iyisini yapabilmeliyiz” dedi.
Teknoloji şirketleri bugünlerde en son teknolojiye sahip yapay zeka modelleriyle birbirlerini gölgede bırakmak için yarışıyor, ancak bu mahkeme kayıtları Meta’nın yapay zeka liderlerinin gerçekte ne kadar rekabetçi olduğunu ve görünüşe göre hâlâ da öyle olduklarını ortaya koyuyor. Mesaj alışverişinin çeşitli noktalarında Meta’nın yapay zeka liderleri, Lama’yı eğitmek için doğru verileri elde etme konusunda ne kadar “çok agresif” davrandıklarını anlattı; Hatta bir noktada bir yönetici, iş arkadaşlarına gönderdiği bir mesajda “Llama 3 tam anlamıyla umursadığım tek şey” dedi.
Bu davadaki savcılar, Meta’nın yöneticilerinin yapay zeka modellerini nakletmek için girdikleri çılgın yarışta ara sıra işin kolayına kaçtığını ve bu süreçte telif hakkıyla korunan kitaplar konusunda eğitim verdiklerini iddia ediyor.
Touvron, bir mesajında Llama 2 için kullanılan veri kümesi karışımının “kötü” olduğunu belirtti ve Meta’nın, Llama 3’ü geliştirmek için daha iyi bir veri kaynağı karışımını nasıl kullanabileceğinden bahsetti. Touvron ve Al-Dahle daha sonra veri setlerini kullanma yolunun temizlenmesinden bahsetti. Cengage Learning, Macmillan Learning, McGraw Hill ve Pearson Education’ın telif hakkıyla korunan çalışmalarını içeren LibGen veri kümesi.
“Orada doğru veri kümelerimiz var mı?[?]” dedi Al-Dahle. “Kullanmak isteyip de aptalca bir nedenden dolayı kullanamadığın bir şey var mı?”
Meta CEO’su Mark Zuckerberg daha önce Llama’nın yapay zeka modelleri ile OpenAI, Google ve diğerlerinin kapalı modelleri arasındaki performans farkını kapatmaya çalıştığını söylemişti. İç mesajlar, şirket içinde bu yöndeki yoğun baskıyı ortaya koyuyor.
Zuckerberg, “Bu yıl Llama 3 en gelişmiş modellerle rekabet ediyor ve bazı alanlarda lider durumda” dedi. mektup Temmuz 2024’ten itibaren. “Gelecek yıldan itibaren gelecekteki Lama modellerinin sektördeki en gelişmiş modeller olmasını bekliyoruz.”
Meta nihayet Nisan 2024’te Llama 3’ü piyasaya sürdüğünde, açık yapay zeka modeli Google, OpenAI ve Anthropic’in önde gelen kapalı modelleriyle rekabet halindeydi ve Mistral’ın açık seçeneklerinden daha iyi performans gösteriyordu. Ancak Meta’nın modellerini eğitmek için kullandığı veriler (telif hakkı statüsüne rağmen Zuckerberg’in yeşil ışık yaktığı söylenen veriler) devam eden birçok davada incelemeyle karşı karşıya.
