Yapay zeka alanındaki araştırmaların ortak yönü, yazılımın teknik ayrıntılarını araştırma makalelerinde ifşa etmektir. Ne için ? Böylece diğer araştırmacılar programları anlayabilir ve onlardan öğrenebilir.
Bu gelenek Salı günü OpenAI’nin son derece popüler ChatGPT sohbet robotunun kalbini oluşturan bir dizi programın sonuncusu olan GPT-4 programının piyasaya sürülmesiyle paramparça oldu. İçinde teknik rapor Salı günü yayınlanan GPT-4’ün yanı sıra OpenAI blog gönderisindeşirket, rekabet ve güvenlik hususları nedeniyle teknik ayrıntı vermekten kaçındığını söylüyor.
“GPT-4 gibi büyük ölçekli modellerin rekabet ortamı ve güvenlik etkileri göz önüne alındığında, bu rapor mimari (model boyutu dahil), donanım, bilgi işlem eğitimi, veri kümesi oluşturma, eğitim yöntemi veya benzerleri hakkında daha fazla ayrıntı içermiyor.” diyor.
GPT-4 programı tam bir bilmecedir
“Mimari” terimi, bir yapay zeka programının inşasına, yapay nöronlarının düzenlenme biçimine atıfta bulunur ve herhangi bir yapay zeka programının temel unsurudur. Bir programın “boyutu”, kullandığı sinirsel “ağırlıklar” veya parametrelerin sayısıdır; bu, bir programı diğerinden ayıran temel bir öğedir.
Bu ayrıntılar olmadan, GPT-4 programı tam bir muammadır.
Belge, programın nasıl yapılandırıldığını çok genel terimlerle açıklayan yalnızca iki cümle içerir.
İfşa eksikliği, AI araştırmacılarının alışkanlıklarından bir kopuştur.
“GPT-4, hem halka açık verileri (internet verileri gibi) hem de üçüncü taraf satıcılardan lisanslanan verileri kullanarak bir belgedeki bir sonraki kelimeyi tahmin etmek için önceden eğitilmiş Transformer benzeri bir modeldir. Model daha sonra insan geri bildirimlerinden pekiştirmeli öğrenme kullanılarak rafine edildi.”
Bu iki cümlenin hiçbiri ilginç bir şey getirmiyor.
İfşa eksikliği, çoğu AI araştırmacısının alışkanlıklarından bir kopuştur. Diğer araştırma laboratuvarları, diğer araştırmacıların sonuçlarını yeniden oluşturabilmeleri için genellikle yalnızca ayrıntılı teknik bilgileri değil, aynı zamanda kaynak kodunu da yayınlar.
İyi gizlenmiş bir “önceden eğitilmiş üretken transformatör”
Açıklama eksikliği, sınırlı olmakla birlikte, OpenAI’nin açıklama alışkanlıklarıyla daha da çelişiyor.
Adından da anlaşılacağı gibi GPT-4, insan dilini manipüle etmek için tasarlanmış bir program olan “önceden eğitilmiş üretken dönüştürücü” olarak bilinen programın dördüncü versiyonudur. Programın ilk versiyonu 2018’de sunulduğunda, OpenAI kaynak kodu sunmadı. Ancak şirket, GPT-1 mimarisinin farklı işlevsel parçalarını nasıl oluşturduğunu ayrıntılı olarak açıkladı.
Bu teknik açıklama, birçok araştırmacının, yapısını yeniden üretemeseler bile programın nasıl çalıştığı hakkında akıl yürütmesine izin verdi.
GPT-1, 2018’de araştırmacıların programın temel özelliklerini anlamalarına yardımcı olan bir diyagramda açıklanmıştır. GPT-4 teknik belgesinde böyle bir açıklama yoktur. Resim: OpenAI.
Daha az ayrıntı
GPT-2 ile, 14 Şubat 2019 tarihinde yayınlandı, OpenAI yalnızca kaynak kodu sunmakla kalmadı, aynı zamanda programın dağıtımını da sınırlandırdı. Şirket, programın yeteneklerinin, kötü niyetli tarafların programı kullanmasına izin vererek yayınlanma riskini alamayacak kadar aşırı olduğuna dikkat çekti.
OpenAI, “Teknolojinin kötü amaçlı uygulamalarıyla ilgili endişelerimiz nedeniyle, eğitilmiş modeli yayınlamıyoruz” dedi.
Kodu veya eğitilmiş modelleri yayınlamamış olsalar da, OpenAI araştırmacıları Alec Radford ve ekibi, önceki sürümden biraz daha az ayrıntılı olarak, ilk GPT’yi nasıl değiştirdiklerini açıkladılar.
GPT-4 Referans Belgesi, Gizlilik Konusunda Başka Bir Dönüm Noktasını İşaretliyor
2020’de OpenAI GPT-3 yayınlandıAlec Radford ve ekibi yine kaynak kodunu ifşa etmeyi reddetti ve programın indirilmesini sağlamadı. bir bulut hizmeti bir bekleme listesi ile. Bunu, hem kötü aktörler tarafından GPT-3 kullanımını sınırlamak hem de erişim için ücret alarak para kazanmak için yaptıklarını iddia ediyorlar.
Bu kısıtlamaya rağmen OpenAI, başkalarının GPT-3’ün önceki iki sürümden nasıl büyük bir adım olduğunu anlamasına yardımcı olan bir dizi teknik özellik sağladı.
Bu bağlamda, GPT-4 referans belgesi, ifşanın yokluğunda yeni bir adımı işaret ediyor. Kaynak kodunun ve programın açıklanmaması, ayrıca programın içeriğini dışarıdan araştırmacıların tahmin etmesini sağlayacak teknik detayların da açıklanmaması yeni bir tür ihmaldir.
Üç ilişkilendirme sayfası
Teknik ayrıntılardan yoksun olmasına rağmen, 98 sayfa uzunluğundaki GPT-4 belgesi yine de yenilikçidir. Programın çalışması için seferber edilen muazzam kaynakları kabul ederek yeni bir çığır açıyor.
Her zamanki ilk sayfa yazar alıntıları yerine, teknik raporun sonunda, tüm OpenAI üyeleri de dahil olmak üzere finans departmanına kadar yüzlerce katkıda bulunandan alıntı yapan üç atıf sayfası bulunur.
Makale ayrıca, OpenAI’nin belirsiz bir tarihte daha fazla bilgi sunabileceğini ve yine de şeffaflık yoluyla bilimi ilerletmeye kararlı olabileceğini ima ediyor:
“Teknolojilerimizi bağımsız olarak denetlemeye kararlıyız ve bu sürümle birlikte gelen sistem haritasında bu alandaki bazı ilk adımları ve fikirleri paylaştık. Daha fazla şeffaflığın bilimsel değerine karşı yukarıda belirtilen rekabet ve güvenlik hususlarını nasıl dengeleyeceğimiz konusunda bize tavsiyede bulunabilecek diğer üçüncü taraflara daha fazla teknik ayrıntı sunmayı planlıyoruz.”
Kaynak : ZDNet.com