İki yıl önce piyasaya sürülen OpenAI, olağanüstü yetenekli, kusurluysa, GPT-3, yapay zekanın bir insan gibi ikna edici bir şekilde – mükemmel olmasa da – yazabileceğini gösteren belki de ilk kişiydi. Büyük olasılıkla GPT-4 olarak adlandırılan GPT-3’ün halefinin yakın gelecekte, belki de 2023’te tanıtılması bekleniyor. Ancak bu arada, OpenAI sessizce “GPT- 3.5”, GPT-3’ün önceden duyurulmamış, geliştirilmiş bir sürümü.
GPT-3.5, esasen genel amaçlı bir sohbet robotu olan GPT-3.5’in ince ayarlı bir sürümü olan ChatGPT ile Çarşamba günü gizlendi. çıkış yaptı halka açık demo dün öğleden sonra ChatGPT, programlama, TV senaryoları ve bilimsel kavramlar dahil olmak üzere bir dizi konuyla ilgilenebilir.
Binaen OpenAI için GPT-3.5, 2021’in 4. çeyreğinden önce yayınlanan bir metin ve kod karışımı üzerinde eğitildi. GPT-3 ve diğer metin üreten yapay zeka gibi, GPT-3.5 de cümleler, kelimeler ve kelime parçaları arasındaki ilişkileri büyük miktarlarda alarak öğrendi. yüzbinlerce Wikipedia girdisi, sosyal medya gönderisi ve haber makalesi dahil olmak üzere web’deki içerik.
OpenAI, tamamen eğitilmiş GPT-3.5’i yayınlamak yerine, her biri OpenAI API aracılığıyla kullanılabilen belirli görevler için ince ayarlı birkaç sistem oluşturmak için kullandı. Bir — text-davinci-003 — laboratuvara göre GPT-3 üzerine oluşturulmuş modellerden daha karmaşık talimatları işleyebilir ve hem uzun biçim hem de “yüksek kaliteli” yazmada ölçülebilir şekilde daha iyidir.
OpenAI veri bilimcisi Jan Leike’ye göre text-davinci-003, OpenAI tarafından bu yılın başlarında piyasaya sürülen ve sorunlu (ör. toksik ve yüksek oranda önyargılı) oluşturma olasılığı daha düşük olan GPT-3 tabanlı modeller ailesi olan InstructGPT’ye benzer ancak aynı değildir. ) metnini kullanıcının amacına daha yakın bir şekilde hizalayın. Leike bir tweet’te, Text-davinci-003 – ve uzantı olarak GPT-3.5 – “insan tercihi derecelendirmelerinde daha yüksek puanlar alırken” “daha az ciddi” sınırlamalardan muzdarip olduğunu söyledi.
Anekdot olarak durum böyle görünüyor. Bir içerik pazarlama platformu olan Pepper Content’teki veri bilimcileri, bildiri text-davinci-003 “bir isteğin arkasındaki ‘bağlamı’ anlamada ve ardından bunu daha iyi içerik üretmek için kullanmada daha iyi performans gösterirken” GPT-3 tabanlı modellerden daha az “halüsinasyon görüyor”. (Metin üreten AI ile ilgili olduğunda, halüsinasyon tutarsız, gerçeklere dayalı olarak yanlış ifadeler yazan bir yapay zeka anlamına gelir.)
OpenAI’nin Modeller için bir kullanıcı arabirimi ön ucu sağlayan Playground web sitesinde yapılan bir testte Pepper Content ekibi, text-davinci-003’e ve GPT-3’e (text-davinci-002) dayalı bir modele birkaç komut verdi. “WeWork’ün arkasındaki felsefe nedir?” sorusuna GPT-3.5 tabanlı text-davinci-003 şunu üretti:
WeWork, insanların herhangi bir organizasyondaki en önemli varlık olduğuna inanan küresel bir çalışma alanı sağlayıcısıdır. WeWork’ün felsefesi, insanların esnek ve verimli bir şekilde birlikte çalışmasını sağlayan işbirliğine dayalı bir ortam yaratmaktır. Şirket, rahat ve ilham verici bir alan sağlarken işbirliğini ve üretkenliği teşvik ediyor.
WeWork ayrıca, çevresel etkisini azaltmanın yollarını bularak, anlamlı iş deneyimleri sunarak ve çeşitliliği ve katılımı teşvik ederek sosyal açıdan sorumlu bir kuruluş olmaya kendini adamıştır. WeWork ayrıca benzersiz topluluk tabanlı programlama, etkinlikler ve aktiviteler aracılığıyla üyeleri için anlamlı deneyimler yaratmaya çalışır. Şirket, insanların ilham verici ve işbirliğine dayalı bir ortamda birlikte çalıştıklarında daha fazlasını başarabileceklerine ve anlamlı değişiklikler yaratabileceklerine inanıyor.
Mükemmel değil – fazla virgüllere ve tekrara dikkat edin. Ancak kopya, GPT-3 tabanlı text-davinci-002’nin ürettiğinden kesinlikle daha ilgi çekici:
WeWork’ta açıklığa, işbirliğine ve topluluğa inanıyoruz. Anlamlı bir şeyler inşa etmek ve dünyayı dönüştürmek isteyen herkesten oluşan yaratıcılar, girişimciler ve startup’lardan oluşan küresel bir topluluğu bir araya getirerek bir çalışma alanının ne olabileceğini yeniden tasarladık. Komşunuz, iş arkadaşınız ve arkadaşınız olmaktan gurur duyuyoruz.
Görünüşe göre GPT-3.5, blog gönderileri oluşturmada da daha iyi. Pepper Content ekibi, text-davinci-003’ten koltuk seçmeyle ilgili bir gönderi yazmasını istediğinde şunları elde etti:
Yeşil oturma odanıza yeni bir görünüm vermek istiyorsanız, alan için en iyi kanepeyi eklemek, başlamak için harika bir yoldur. Bununla birlikte, mükemmel kanepeyi seçmek, sadece iyi görünen bir parça bulmaktan daha fazlasıdır. Rahat ve yeşil oturma odası dekorunuza uyan bir parça bulmak istiyorsunuz.
Bu blogda, yeşil oturma odanız için nasıl kanepe seçeceğinizi tartışacağız. Mevcut farklı kanepe türlerine, seçiminizi yaparken göz önünde bulundurmanız gereken tasarım faktörlerine ve tarzınıza ve bütçenize uygun bir kanepeyi nasıl seçeceğinize bakacağız. Ayrıca yeni kanepenizin bakımını nasıl yapacağınıza dair ipuçları da vereceğiz. Bu blogun sonunda yeşil oturma odanız için mükemmel olanı seçmek için ihtiyacınız olan tüm bilgilere sahip olacaksınız.
Yine, kusursuz değil. GPT-3.5, garip bir şekilde “yeşil oturma odası” ile ilgili bir parça ekledi. Ama yine de, GPT-3 daha basit ve kendi neslinde gramer açısından daha az doğru:
Kanepe, bir oturma odasının en temel gereksinimlerinden biridir. Bu sadece bir mobilya parçası değil, oturma odanızın dekorunun önemli bir parçası. Peki koltuk seçerken kriterler ne olmalı? Bunu merak ediyorsanız, kanepenin farklı yönlerini tartışırken benimle kalın, kendiniz için en iyisini seçmenize yardımcı olacaktır.
Pepper Content’in ötesindeki deneyler, GPT-3.5’in yanıtlarında GPT-3’ten çok daha karmaşık ve eksiksiz olma eğiliminde olduğunu gösteriyor. Örneğin, YouTube kanalı All About AI istendi AI hakkında bir tarih yazmak için text-davinci-003, modelin çıktısında Alan Turing ve Arthur Samuelson da dahil olmak üzere alandaki önemli aydınlatıcılardan bahsedilirken, text-davinci-002”s yoktu. AI Hakkında Her Şey ayrıca, text-davinci-003’ün, bir video komut dosyası oluşturması istendiğinde başlık, açıklama, ana hat, giriş ve özet gibi ayrıntılar sağlamak gibi talimatlara ilişkin daha incelikli bir anlayışa sahip olma eğiliminde olduğunu da buldu.
Bu bir tesadüf değil — text-davinci-003/GPT-3.5’in çıktılarının ayırt edici bir özelliği ayrıntıdır. (Bu yazar sempati duyabilir.) analizScale AI başlangıcındaki bilim adamları, text-davinci-003/GPT-3.5’in aynı istemlerle text-davinci-002/GPT-3’ten yaklaşık %65 daha uzun çıktılar ürettiğini buldu.
Çoğu potansiyel kullanıcı için belki daha az yararlı olsa da yine de eğlenceli olan text-davinci-003/GPT-3.5, şarkı, limerick ve kafiyeli şiir bestelemede selefinden daha üstündür. Ars Teknik raporlar Y Combinator’ın Hacker News forumundaki yorumcuların Albert Einstein’ın görelilik teorisini açıklayan bir şiir yazmak için text-davinci-003 kullandığını ve ardından şiiri John Keats tarzında yeniden yazdığını. Görmek:
Einstein’ın düşüncesini anlamak istiyorsanız
Bir şans verirsen o kadar da zor değil
Genel Görelilik oyunun adıdır.
Uzay ve zamanın aynı kalamadığı yerde
Kütle uzayın eğriliğini etkiler
Zamanın yarışının akışını etkileyen
Bir nesnenin hareketi etkilenecek
Tespit edilen bozulma ile
Büyük bir kütleye ne kadar yakınsanız
Daha yavaş zaman geçecek gibi görünüyor
Ne kadar uzakta olabilirsen
Zaman senin görmen için hızlanacak
Scale AI ekibi, text-davinci-003/GPT-3.5’in iambik pentametre gibi bir metre kavramına sahip olduğunu bile buldu. Görmek:
Ey yumuşak atlar, beni hızlı taşıyan ve
Elbette
Yeşil alanlar ve patikalar sayesinde
karanlık,
Kalbim birlikte olmaktan gurur duyuyor
sen
Dünyayı yeniden görmek için binerken olduğu gibi
Rüzgar saçlarımızın arasından öyle ıslık çalıyor ki
Bedava
Ve içimde derin bir tutku uyandırıyor.
Ruhum yükseliyor, moralim yükseliyor,
Seninle binmek için, en gerçek arkadaşım, öyle mi?
Gücünüz ve zarafetiniz, cesaretiniz ve
senin ateşin,
Atamızın ötesine geçmek için ikimize de ilham ver.
Hiçbir dünyevi bağ bizi tutamaz, sadece kader,
Dört nala gitmek için harika rotamız yarat
Buna bağlı olarak, GPT-3.5, GPT-3’ten daha zekidir – en azından öznel bir bakış açısından. text-davinci-002/GPT-3’ten “şaka anlatmasını” isteme genellikle bunu verir:
Tavuk neden yoldan geçti? Diğer tarafa geçmek.
Text-davinci-003/GPT-3.5’in daha akıllı yanıtları var:
S: Balık duvara çarptığında ne dedi? C: Baraj!
Q: Ne yaptı bir okyanus söylemek ile the başka okyanus? A: Hiç bir şey, onlar sadece salladı.
Scale AI, modelin Python kodunu Eminem tarzında açıklamasını sağladı; bu, text-davinci-002/GPT-3’ün basitçe başaramadığı bir başarıydı:
Yo, yani bu listede dolaşıyorum
Bulduğum her öğe ile
Her birindeki her harfi yazdıracağım
onlardan
Köpek, Kedi, Muz, Elma, onları alacağım
hepsi bu kafiye ile
Peki bu belirli alanlarda GPT-3.5 neden GPT-3’ten daha iyi? OpenAI’den gelecek ek ayrıntılar olmadan kesin yanıtı bilemeyiz; bir OpenAI sözcüsü yorum talebini reddetti. Ancak GPT-3.5’in eğitim yaklaşımının bununla bir ilgisi olduğunu varsaymak güvenlidir. InstructGPT gibi, GPT-3.5 de modelin erken sürümlerinin istemlere yanıt verme şeklini sıralayan ve derecelendiren insan eğiticilerin yardımıyla eğitildi. Bu bilgi daha sonra, yanıtlarını eğitmenlerin tercihlerine uyacak şekilde ayarlayan sisteme geri beslendi.
Elbette bu, GPT-3.5’i tüm modern dil modellerinin düştüğü tuzaklara karşı bağışık yapmaz. GPT-3.5, dünyanın insan benzeri bir anlayışından ziyade eğitim verilerinde yalnızca istatistiksel düzenliliklere dayandığından, Leike’nin sözleriyle, “mak[ing] bir demet doldurun. Ayrıca 2021 yılından sonra eğitim verilerinin daha seyrek olması nedeniyle dünya hakkında sınırlı bilgi sahibidir. Ve modelin zehirli çıktıya karşı güvenceleri şunlar olabilir: atlatılmış.
Yine de GPT-3.5 ve türevi modeller, GPT-4’ün – ne zaman gelirse gelsin – günümüzün en yetenekli metin oluşturma sistemlerini alt etmek için çok sayıda parametreye ihtiyaç duymayacağını gösteriyor. (Parametreler, modelin tarihsel eğitim verilerinden öğrenilen parçalarıdır ve temel olarak modelin bir problem üzerindeki becerisini tanımlar.) tahmin edilen GPT-4’ün 100 trilyondan fazla parametre (GPT-3’ün yaklaşık 600 katı) içereceğini, diğerleri ise dil işlemede GPT-3.5 ve InstructGPT’de görülenler gibi yeni ortaya çıkan tekniklerin böyle bir atlamayı gereksiz kılacağını iddia ediyor.
Bu tekniklerden biri, Meta’nınki gibi daha geniş bağlam için internette gezinmeyi içerebilir. talihsiz BlenderBot 3.0 sohbet robotu. Araştırma bilimcisi ve OpenAI’nin kurucu ortağı John Shulman, söylenmiş MIT Tech Review yakın tarihli bir röportajda, OpenAI’nin geçen yılın sonlarında duyurduğu ve web’de (Bing aracılığıyla) bilgi arayabilen ve yanıtları için kaynak sağlayabilen WebGPT adlı bir dil modeli üzerinde çalışmaya devam ettiğini bildirdi. En az bir Twitter kullanıcısı görünür ChatGPT için test edilen özelliğin kanıtını bulmuş olmak.
OpenAI’nin GPT-3’ü geliştirmeye devam ederken daha düşük parametreli modelleri takip etmek için başka bir nedeni daha var: devasa maliyetler. 2020 ders çalışma itibaren AI21 Laboratuvarları yalnızca 1,5 milyar parametreyle metin üreten bir model geliştirmenin masraflarını 1,6 milyon dolara kadar sabitledi. OpenAI’de var kabarık Microsoft ve diğer destekçilerden bugüne kadar 1 milyar doların üzerinde ve bildirildiğine göre daha fazla yükseltmek için görüşmelerde. Ancak tüm yatırımcılar, ne kadar büyük olursa olsun, sonunda getiri görmeyi bekler.