Son zamanlarda, OpenAI’nin ChatGPT programının çeşitli tarzlarda ve temalarda doğal dil ifadeleri üretme konusundaki muazzam vaadi hakkında çok şey söylendi.
ChatGPT, kalabalıkları o kadar büyülüyor ki, çoğu kişi bu programın türünün tek örneği olduğunu düşünüyor. Yine de, AI uzmanları tam olarak aynı fikirde değiller.
Meta’nın baş yapay zeka bilimcisi Yann LeCun, geçen hafta Zoom’da düzenlediği küçük bir basın ve yönetici toplantısında, “Temel teknikler açısından, ChatGPT özellikle yenilikçi değil,” dedi. Derin öğrenme öncüsü, “Halk tarafından böyle algılansa bile, bu konuda devrim niteliğinde hiçbir şey yok” dedi.
“Sadece, bilirsin, iyi bir araya getirilmiş, güzel yapılmış. »
OpenAI münferit bir vaka değil
Yann LeCun, bu tür veri odaklı AI sistemlerinin geçmişte birçok şirket ve araştırma laboratuvarı tarafından oluşturulduğunu belirtti. Araştırmacıya göre, OpenAI’nin bu tür işlerde yalnız olduğu fikri bu nedenle yanlış.
“OpenAI, diğer laboratuvarlardan hiçbir şekilde bir adım önde değil” dedi. “Sadece Google ve Meta değil, temelde buna çok benzer teknolojiye sahip yarım düzine girişim var” diye ekledi. “Roket bilimi olmadığını söylemiyorum ama nadiren paylaşılır, arkasında bir sır yok, dilerseniz. »
Yann LeCun’a göre, ChatGPT ve temel aldığı program olan GPT-3, birçok taraf tarafından uzun yıllar boyunca geliştirilen birden çok teknoloji parçasından oluşuyor. Yann LeCun, “ChatGPT’nin kendi kendini denetleyen bir şekilde önceden eğitilmiş Transformer mimarilerini kullandığını bilmelisiniz” dedi. “Kendi kendini denetleyen öğrenme, OpenAI var olmadan önce bile uzun süredir savunduğum bir şeydi” diye ekledi.
Yann LeCun, Google tarafından 2017’de kullanıma sunulan ve GPT-3 de dahil olmak üzere çok çeşitli dil programlarının temeli haline gelen dilbilimsel sinir ağına atıfta bulunarak “Transformers bir Google icadıdır” dedi.
onlarca yıllık araştırma
Ayrıca Yann LeCun, bu tür dil programları üzerindeki çalışmaların onlarca yıl öncesine dayandığına dikkat çekiyor.
Araştırmacı, MILA Enstitüsü başkanına atıfta bulunarak, “Büyük dil modelleri, ilk sinir ağı dil modeli – o zamanlar büyüktü, bugünün standartlarına göre küçücük – yaklaşık 20 yıl önce Yoshua Bengio tarafından yapıldı” dedi. Kanada’da AI. Yoshua Bengio’nun dikkat kavramı üzerine çalışması daha sonra Transformer için Google tarafından devralındı ve tüm dil modellerinin merkezi bir unsuru haline geldi.
OpenAI’nin programı ayrıca, Web için Google Page Rank’a çok benzer şekilde, insan aracıların makine sonuçlarını iyileştirmek için sıralamasına yardımcı olan, insan geri bildirimi yoluyla pekiştirmeli öğrenme adı verilen bir tekniği kapsamlı bir şekilde kullandı. Bu yaklaşımın öncülüğünü OpenAI değil, Google’ın DeepMind birimi yaptı, dedi.
Yann LeCun’a göre ChatGPT programı, bilimsel bir atılımdan çok düzgün bir mühendislik örneğidir. Amacını açıklamak için programı, 2011 yarışma programı Jeopardy’ye katılan IBM Watson bilgisayarıyla karşılaştırdı! ve girişimci Sebastian Thrun’un DARPA’nın 2005 Grand Challenge’ını kazanan sürücüsüz aracı, Amerika Birleşik Devletleri’ndeki savunma araştırma ve geliştirme ajansı. Yann LeCun, Sebastian Thrun’un ödüllü teknolojisinin “arkasındaki bilim açısından özellikle yenilikçi olmadığını”, “sadece çok iyi tasarlanmış olduğunu” söyledi.
“Bu, OpenAI’nin yaptığı türden bir şey” diye ekledi. “Bunun için onları eleştirmeyeceğim. »
Kaynak : ZDNet.com