Bu yatırım tavsiyesi değildir. Yazarın belirtilen hisse senetlerinin hiçbirinde pozisyonu yoktur. Wccftech.com’un bir bilgilendirme ve etik politikası vardır.
OpenAI’nin ChatGPT’si, birkaç açıdan kusurlu olsa da harika bir araçtır. Çevresel görüşteki sınırlamalarını korurken Geniş Dil Modeli’nin (LLM) yeteneklerinden yararlanmak şimdilik doğru yaklaşımdır.
Son zamanlarda, ChatGPT-4’ün MIT’nin EECS müfredatında yüzde 100 puan alabileceğini iddia eden bir makale dalga yarattı. Bununla birlikte, ardından gelen şey, etik olmayan veri kaynakları ve istenen sonucu elde etmek için tekrarlanan istemlerin iğrenç bir hikayesidir. Daha derine inelim.
🎓 Büyük dil modelleri kullanarak MIT Matematik ve EECS müfredatını keşfetmek. 🧠🚀 #SAHİP OLMAK #Eğitim #MİT Devamını oku: https://t.co/0DxLZj2YhE pic.twitter.com/2YXLrn1RwM
— Iddo Drori (@iddo) 16 Haziran 2023
Birkaç gün önce, Profesör Iddo Drori “Büyük Dil Modelleri Kullanarak MIT Matematiğini ve EECS Müfredatını Keşfetme” Makale, “bir derece elde etmek için gerekli olan tüm MIT Matematik ve Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS) derslerinde problem setleri, ara sınavlar ve final sınavlarından elde edilen 4.550 soru ve çözümden oluşan kapsamlı bir veri setini” inceledi. Makale, çarpıcı bir sonuçla şu sonuca varıyor:
“Sonuçlarımız, GPT-3.5’in tüm MIT müfredatının üçte birini başarıyla çözdüğünü, GPT-4’ün ise hızlı mühendislikle görsellere dayalı sorular hariç bir test setinde mükemmel bir çözme oranı elde ettiğini gösteriyor.”
Bu şaşırtıcı iddialar göz önüne alındığında, gazete sosyal medyada viral oldu ve tek bir günde 500’den fazla retweet topladı.
dan yeni bir çalışma @ben yapardım GPT4’ün doğru yönlendirmeyle MIT’nin EECS müfredatında %100 puan alabileceğini iddia etti.
Arkadaşlarım ve ben böyle bir başarının arkasındaki analizi okumaktan heyecan duyduk, ancak daha derine indikten sonra bulduklarımız bizi şaşırttı ve hayal kırıklığına uğrattı.https://t.co/mpDqlenk04
—Raunak Chowdhuri (@sauhaarda) 17 Haziran 2023
Gazetenin iddiaları daha sonra Raunak Chowdhuri ve meslektaşları tarafından incelendi. Gazetenin iddialarının aksine, Chowdhuri bulundu göze batan sorunlar kullanılan metodolojide:
- Veri seti 10 çözülemeyen soru içeriyordu. Bu, ChatGPT-4’ün istemlerdeki çözümlerle beslendiği veya soruların düzgün bir şekilde derecelendirilmediği anlamına geliyordu. Chowdhuri, daha derin bir incelemenin ardından, ChatGPT’nin gerçekten de ek bağlam olarak bir modele sağlanan sorunlar ve çözümleri olan “birkaç atış örneği” olarak bilinen bilgi istemleri içinde sızdırıldığını buldu.
- Kaynak kodundaki yazım hataları ve hatalar bilgi istemlerini kirletir ve makalenin kendisinde açıklanandan farklı bir sonuca yol açar.
- Değiştirilen parametreler nedeniyle, özellikle sıfır atış işlevi söz konusu olduğunda, model muhtemelen derecelendirilemeyecek karışık yanıtlar verir.
- Makale, ChatGPT’nin yanıtlarının manuel olarak iki kez doğrulandığını iddia ediyor. Ancak Chowdhuri, programın “eylemlerine rehberlik etmek için kayıtlı doğru yanıtı” kullandığını, yani sıfır adımlı öğrenme ile birkaç adımlı öğrenme arasında ne zaman geçiş yapılacağını keşfetti.
NİHAİ GÜNCELLEME: 24 Haziran’da, Armando Solar-Lezama (EECS’de Profesör ve COO/CSAIL, MIT Yardımcı Direktörü), Tonio Buonassisi (Makine Mühendisliği Profesörü, MIT) ve Yoon Kim (EECS ve CSAIL, MIT’de Yardımcı Doçent) kağıtla ilgili bir açıklama yaptı. https://t.co/ITVrK80Hvk pic.twitter.com/BMmlO6GUa6
—Raunak Chowdhuri (@sauhaarda) 24 Haziran 2023
Ek olarak, birkaç MIT profesörü daha sonra bir bildiri yayınladı. ifademakalenin MIT veri setini izinsiz olarak aldığını açıklayarak:
“15 Haziran’da Iddo Drori, arXiv’de düzinelerce MIT dersinden sınavlar ve ödevlerden oluşan bir veri seti ile ilgili bir çalışma kağıdı yayınladı. Bunu, ortak yazarlarının birçoğunun izni olmadan ve yayınlanmadan önce düzeltilmesi gereken sorunların kendisine söylenmesine rağmen yaptı.”
Bildiri aşağıdaki tek satırlık ile sona eriyor:
“Ve hayır, GPT-4 MIT derecesi alamaz.”
ChatGPT’nin potansiyelinin etik olmayan belgeler nedeniyle zarar gördüğünü düşünüyor musunuz? Aşağıdaki yorumlar bölümünde düşüncelerinizi bize bildirin.