Yetkili bir robot için endişeyle nefesini tutan herkes doktorun biraz daha beklemesi gerekebilir. Bir grup AnsibleHealth AI araştırmacısı, yakın zamanda OpenAI’leri ortaya koydu. ChatGPT büyük bir tıbbi lisans sınavına karşı yapılan teste ve sonuçlar geldi. AI sohbet robotu teknik olarak geçti, ama dişlerinin derisinden. Tıbbi sınavlar söz konusu olduğunda, en etkileyici yeni yapay zeka bile hâlâ D seviyesinde performans gösteriyor. Araştırmacılar, cansız gösterinin Her şeye rağmen AI için bir dönüm noktası başarısı.
Araştırmacılar test edildi Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavında (USMLE) ChatGPT, bir tıp lisansı için yarışan ABD’li doktorlar için gerekli olan standartlaştırılmış üç sınav serisi. ChatGPT, sınavın her üç seviyesinde de %52,4 ile %75 arasında puan almayı başardı. Bu, dışarıdaki tüm başarılı olanlar için harika gelmeyebilir, ancak sınavın %60’lık geçme eşiği ile yaklaşık olarak eşittir. Çalışmaya dahil olan araştırmacılar, bunun, AI’nın ilk kez, kötü şöhretli zor sınav için geçme eşiğinde veya buna yakın bir performans gösterebildiğini iddia ediyor. En önemlisi, ChatGPT, insan eğitmenlerinden ekstra özel girdiler almadan geçebildi.
Yazarlar dergide, “Zorluğuyla ünlü bu uzman sınavı için geçme puanına ulaşmak ve bunu herhangi bir insan takviyesi olmadan yapmak, klinik AI olgunlaşmasında dikkate değer bir kilometre taşını işaret ediyor” diye yazdı. PLOS Dijital Sağlık.
Vasat test puanları bir yana, araştırmacılar ChatGPT’yi kulağa gerçekçi ve orijinal yanıtlar verme becerisinden ötürü övdü. ChatGPT, yanıtlarının %88,9’u için “yeni, bariz olmayan ve klinik olarak geçerli içgörüler” yaratmayı başardı ve tümdengelimli akıl yürütme, düşünce zinciri ve uzun vadeli bağımlılık becerilerine dair kanıtlar gösteriyor gibi göründü. Bu bulgular, ChatGPT’ye ve onun özel AI öğrenme tarzına biraz benzersiz görünüyor. Derin öğrenme modellerini kullanan önceki nesil sistemlerin aksine ChatGPT, daha önce gelen kelimelerin bağlamına dayalı olarak bir kelime dizisini tahmin etmek için eğitilmiş büyük bir dil modeline dayanır. Bu, diğer yapay zekanın aksines, ChatGPT aslında daha önce algoritma tarafından görülmeyen ve tutarlı bir anlam ifade edebilecek sözcük dizileri oluşturabilir.
Zor USMLE sınavları, katılımcıları temel bilim, klinik muhakeme, tıbbi yönetim, ve biyoetik. onlar en sık tıp öğrencileri ve hekimler tarafından eğitimde alınır. Bu sınavlar aynı zamanda araştırmacılar, standartlaştırılmış ve düzenlenmiş, bu da onları ChatGPT’nin yeteneklerini test etmek için özellikle uygun hale getiriyor. Bir şey kesinlikle sınavlar değil kolay. İnsan öğrenciler, yalnızca birinci aşama olan 1. üç.
G/O Media komisyon alabilir
Ön sipariş ver
Galaxy Kitap 3 Serisi
24 Şubat’ta mevcut
Her yeni dizüstü bilgisayar modeli, ücretsiz bir depolama yükseltmesi ile birlikte gelir. Her birinin 1 TB sürümü, 512 GB sürümüyle aynı şekilde fiyatlandırılır, bu da temelde 1 TB sürümünün 200 $ indirimli olduğu anlamına gelir.
Şaşırtıcı bir şekilde ChatGPT, yalnızca biyomedikal literatürde eğitilmiş başka bir büyük dil modeli yapay zeka olan PubMedGPT’den daha iyi performans göstermeyi başardı. Bu ilk başta mantığa aykırı görünebilir, ancak araştırmacılar, ChatGPT’nin daha genelleştirilmiş eğitiminin, potansiyel olarak hastaya bakan hastalık primerleri veya ilaç prospektüsleri gibi daha geniş bir klinik içerik yelpazesine maruz kaldığı için ona bir avantaj sağlayabileceğini söylüyor. Araştırmacılar iyimser bir şekilde ChatGPT’nin geçer notunun, yapay zeka sistemlerinin tıp eğitiminde yardımcı bir rol oynayabileceği bir geleceğe işaret edebileceğine inanıyor. AnsibleHealth klinisyenlerinin aracı yoğun, jargonla dolu raporları yeniden yazmak için kullandığı yakın tarihli bir örnekten alıntı yaparak, bunun zaten küçük bir düzeyde gerçekleştiğini yazıyorlar.
Araştırmacılar, “Çalışmamız, ChatGPT gibi büyük dil modellerinin, gelecekteki klinik karar verme sürecine entegrasyonun bir başlangıcı olarak, tıp eğitimi ortamında insan öğrencilere potansiyel olarak yardımcı olabileceğini gösteriyor” dedi.
Oldukça meta bir bükülme ile, ChatGPT sadece tıbbi muayeneye girmekle görevlendirilmedi. Sistem, performansını belgeleyen nihai araştırma makalesinin taslağının hazırlanmasıyla da ilgilendi. Araştırmacılar, “bir meslektaş gibi” ChatGPT ile etkileşime girdiklerini ve taslaklarını sentezlemek ve basitleştirmek ve hatta karşı noktalar sağlamak için ona yaslandıklarını söylüyorlar.
Araştırmacılardan biri olan Tiffany Kung, “Ortak yazarların tümü ChatGPT’nin katkılarına değer verdi,” diye yazdı.
ChatGPT: Yazmada vasat, matematikte berbat
ChatGPT’de var etkileyici miktarda geçme notu ekledi. son aylarda eğitici kupa duvarı. Geçen ay, ChatGPT yönetilen Pennsylvania Üniversitesi’nin prestijli Wharton Okulu’nda işletme öğrencilerine verilen MBA düzeyinde bir sınavda B ile B eksi arasında puan almak. Hemen hemen aynı zamanda, yapay zeka başardı Minnesota Üniversitesi Hukuk Fakültesi’ndeki öğrencilere verilen bir hukuk sınavında geçme puanı. Hukuk sınavı durumunda, ChatGPT bir C+ ile geride kaldı.
Araştırmanın baş yazarı Jonathan Choi, “Tek başına, ChatGPT oldukça vasat bir hukuk öğrencisi olurdu,” dedi. röportaj Reuters ile. “Buradaki meslek için daha büyük potansiyel, bir avukatın ChatGPT’yi kullanarak kaba bir ilk taslak oluşturabilmesi ve uygulamalarını çok daha etkili hale getirebilmesidir.”
ChatGPT, yazmaya ve okuduğunu anlamaya odaklanan sınavlarda yeterli puanlar alabilir, ancak matematik tamamen başka bir canavardır. Akademik makaleleri ve yarı-akıllı düzyazıları yok etme konusundaki etkileyici yeteneğine rağmen, araştırmacılar yapay zekanın matematik söz konusu olduğunda yalnızca kabaca 6. sınıf düzeyinde performans gösterdiğini varsayalım. ChatGPT, doğal dil formatında temel aritmetik problemler sorulduğunda daha da kötü sonuç verir. Bu tökezleme, tahmini büyüklüğünden kaynaklanıyor dil modeli eğitimi. ChatGPT, elbette, matematik probleminize kendinizden emin bir şekilde cevap verecektir, ancak gerçeklikten tamamen kopmuş da olabilir.
ChatGPT’nin o zamanki çılgınca yanıtları, kıdemli Google mühendislerinin ve alandaki diğer kişilerin sahip olduğu yanıtlardır. anılan, dikkatli bir şekilde, AI “halüsinasyonları” olarak. Bu AI halüsinasyonları, ikna edici görünen ancak kısmen veya tamamen uydurma, ki bu tıp ve hukuk gibi yüksek riskli alanlarda yetkili yapay zeka arayanlar için pek de iyi bir işaret değil.
“BT [ChatGPT] Teksas Üniversitesi profesörü Paul von Hippel yakın tarihli bir yazısında, bir uzman gibi hareket ediyor ve bazen ikna edici bir taklit sunabiliyor” dedi. röportaj ile Wall Street Gazetesi. “Ama çoğu zaman bir tür bs sanatçısıdır, kendinizde biraz uzmanlığınız yoksa inandırıcı gelebilecek bir şekilde gerçeği, hatayı ve uydurmayı karıştırır.”