Google, 10 Mayıs’taki I/O 2023 konferansında PaLM 2’yi tanıttı. Bu yeni Büyük Dil Modeli (LLM), öncekinden beş kat daha fazla eğitim verisi kullanıyor…
Google, 10 Mayıs’taki I/O 2023 konferansında PaLM 2’yi tanıttı. Bu yeni büyük dil modeli (LLM), 2022’deki öncülünden beş kat daha fazla eğitim verisi kullanıyor. Daha gelişmiş performans için doğrudan rakibi olan GPT-4’e rakip olabilir. kodlama, matematik ve yazma görevleri.
Google, yapay zeka konusunda giderek daha şeffaf değil
92 sayfalık bir teknik dokümanda (pdf), Google, eğitim verilerini, mevcut dillerin sayısını ve hatta PaLM 2 sorgularının sonuçlarını sundu.Ancak web devi, kullanılan bilgilerin ve web sitelerinin sayısını açıklamıyor. CNBC yapay zekanın (AI) 3,6 trilyon “belirteç” üzerinde eğitildiğini ortaya koyan dahili bir belge elde etti, bu da modelin konuşmayı ve konuşmayı olabildiğince çok taklit etmeyi öğrenmesini sağlayan kelime dizileri. Karşılaştırma için GPT-3, 300 milyar jeton üzerinde ve PaLM 1, 780 milyar öğe üzerinde eğitildi.
Bu tür teknik ayrıntılar, yapay zekanın önceki sürümü olan PaLM 1 için Google araştırmacıları tarafından herkese açık olarak sağlandı. Raporun sonunda birkaç satır, yalnızca bir ekte. Google, belgesinde ” PaLM-2, son teknolojiye sahip yeni bir dil modelidir. […] Modelin boyutu ve mimarisi hakkında daha fazla ayrıntı şirket dışında açıklanmadı. “.
Yapay zeka yarışında, sistemleri hakkında giderek daha az şeffaf olan tek kişi Google değil. Geçen Nisan ayında, ChatGPT’nin yaratıcısı OpenAI, GPT-4’ün parametre sayısını açıklamayı reddetti. Şirket henüz GPT-3 için yapmamıştı. Parametreler, yapay zekanın davranışını etkileyen değişkenlerdir. Genellikle büyük bir dil modelinin karmaşıklığını ve aynı zamanda işletme maliyetini temsil etmek için kullanılırlar. Bir yapay zekanın çok sayıda parametresi ne kadar fazlaysa, isteklere ve dolayısıyla enerjiye ve dolayısıyla nihayetinde paraya yanıt vermek için bilgi işlem kaynaklarını o kadar fazla tüketir.
OpenAI’den farklı olarak, PaLM 2’nin yaratıcıları ise parametre sayısını açıklamaya karar verdiler. Bu, şaşırtıcı bir şekilde, teknik bir performansı vurgulamak içindir. Yeni yapay zeka, ilk sürüm için 540 milyara kıyasla 340 milyar farklı parametre üzerinde eğitildi. “Compute-optimal scaling” adlı bir yenilik sayesinde Google, verimlilik elde etmek için parametre sayısını optimize etmeyi başardığını iddia ediyor. Bunların bir sürümden ikinci sürüme düşürülmesi performansını etkilememeli, ancak ek olarak bilgisayar kaynaklarına olan ihtiyacı da azaltmalıdır.