İnternetin yeni favori oyuncağı, ChatGPTbaşarır bazı şeyler diğerlerinden daha iyi. OpenAI’nin makine öğrenimi ile eğitilmiş sohbet robotu, hemen hemen her konuda sorunsuzca akan cümleleri ve paragrafları bir araya getirebilir. Ama o güvenilir olamaz doğruyu söyle. olarak hareket edebilir inandırıcı bir yedek metin tabanlı bir ruh sağlığı danışmanı için. Fakat yazamaz fena bir Gizmodo makalesi.
Yapay zeka metin oluşturucunun görünüşte yapabileceği ilgili şeyler listesinde, bilim eleştirmenlerini kandırıyor – en azından bazen, göre baskı öncesi çalışma Salı günü Northwestern Üniversitesi ve Chicago Üniversitesi araştırmacılarından yayınlandı. Yayınlanmış akademik bilim, makale gönderme ve ilgili alanlardaki insan uzmanlar tarafından gözden geçirme sürecine dayanır. Yeni çalışma yazarları, AI bu eleştirmenleri rutin olarak kandırabilirse, bunun bilimsel bir bütünlük krizini körükleyebileceği konusunda uyarıyor.
Ön baskıda araştırmacılar, yayınlanmış 50 gerçek tıbbi makale seçerek başladı. Her birinin başlığını aldılar ve “Lütfen makale için bilimsel bir özet yazın” istemiyle ChatGPT’ye verdiler. ChatGPT Writes Well Enough to Fool Scientific Reviewers Tarzında [journal] de https://gizmodo.com/chatgpt-writes-well-enough-to-fool-scientific-reviewers-1849970458” Ardından, toplam 100 örnek için gerçek ve sahte özetleri bir araya topladılar. Araştırmacılar, incelemeleri için rastgele dört tıp uzmanına 25 özet atadı ve araştırmacıların hiçbirine yinelenen başlıklara sahip örnekler verilmediğinden emin oldu. Araştırma araştırmacıları, deneklere özetlerin bazılarının sahte, bazılarının gerçek olduğunu söyledi;
İnceleyenler, özetin ChatGPT’nin ürünü olduğunu %68 oranında doğru bir şekilde belirledi. Ancak vakaların geri kalan %32’sinde denekler kandırıldı. Ve bu, tahrif edilmiş özetlerin yalnızca %8’inin listelenen dergi için özel biçimlendirme ve stil gereksinimlerini karşılamasına rağmen. Ayrıca, gözden geçirenler yanlış bir şekilde gerçek makale özetlerinin %14’ünün yapay zeka tarafından oluşturulmuş olduğunu tespit ettiler.
Çalışma araştırmacıları ön baskıda “Hakemler, ikisi arasında ayrım yapmanın şaşırtıcı derecede zor olduğunu belirttiler” diye yazdı. Eleştirmenler, özetleri sıralarken, oluşturulan örneklerin daha belirsiz ve daha kalıplaşmış olduğunu düşündüklerini belirttiler. Ancak yine de, bu varsayımı uygulamak, oldukça iç karartıcı bir doğruluk oranına yol açtı – çoğu fen dersinde başarısız bir not verecek bir oran.
Northwestern tıp fakültesi göğüs hastalıkları uzmanı Catherine Gao, “Eleştirmenlerimiz kendilerine verilen özetlerin bazılarının sahte olduğunu biliyordu, bu yüzden çok şüphelendiler,” dedi. üniversite basın açıklaması. “Bu, vahşi doğada özet okuyan biri değil. Hakemlerimizin yapay zeka tarafından oluşturulanları %32 oranında hala gözden kaçırması, bu özetlerin gerçekten iyi olduğu anlamına geliyor. Birisi bu oluşturulan özetlerden birine rastlarsa, bunun yapay zeka tarafından yazıldığını kesin olarak belirleyemeyeceğinden şüpheleniyorum.”
Özetleri insan eleştirmenler tarafından çalıştırmanın yanı sıra, çalışma yazarları ayrıca gerçek ve sahte tüm örnekleri bir AI çıkış detektörü aracılığıyla besledi. Otomatik algılayıcı başarılı bir şekilde, rutin olarak ChatGPT özetlerine gerçek olanlardan çok daha yüksek puanlar (daha yüksek bir yapay zeka oluşturma olasılığını gösterir) atadı. AI detektörü, orijinal özetlerin ikisi hariç hepsini haklı olarak %0’a yakın sahte olarak puanladı. Bununla birlikte, AI tarafından oluşturulan vakaların %34’ünde, tahrif edilmiş örneklere 100 üzerinden 50’nin altında bir puan verdi; bu, sahte özetleri düzgün bir şekilde sınıflandırmak için hala mücadele ettiğini gösteriyor.
Ön baskıya göre, ChatGPT özetlerini bu kadar inandırıcı kılan şeyin bir kısmı, yapay zekanın ölçeği çoğaltma yeteneğiydi. Tıbbi araştırma, örneklem büyüklüğüne bağlıdır ve farklı türde araştırmalar çok farklı sayıda denek kullanır. Oluşturulan özetler, karşılık gelen orijinallerle benzer (ancak aynı olmayan) hasta kohort boyutları kullandı, çalışma yazarlarını yazdı. Basın açıklamasında, “Yaygın olan hipertansiyon üzerine bir çalışma için, ChatGPT kohortta on binlerce hastayı dahil ederken, maymun çiçeği üzerine bir çalışmada çok daha az sayıda katılımcı vardı” dedi.
Yeni çalışmanın sınırlamaları var. Birincisi, örneklem büyüklüğü ve gözden geçirenlerin sayısı küçüktü. Yalnızca bir AI çıkış dedektörünü test ettiler. Ve araştırmacılar, gittikleri gibi daha ikna edici çalışmalar üretmek için istemlerini ayarlamadılar; ek eğitim ve daha hedefli istemlerle, ChatGPT tarafından oluşturulan özetlerin daha da inandırıcı olması mümkündür. Bu endişe verici bir ihtimal kuşatılmış bir alan görevi kötüye kullanarak.
Zaten sözde “kağıt fabrikaları” bir sorun akademik yayıncılıkta. Bu kar amacı gütmeyen kuruluşlar, topluca – genellikle intihal, sahte veya yanlış veriler içeren – dergi makaleleri üretir ve alıcıların özgeçmişlerini sahte araştırma kredisiyle doldurabilmeleri için yazarlığı en yüksek teklifi verene satar. Makale gönderimleri oluşturmak için AI kullanma yeteneği, dolandırıcılık endüstrisini daha da kazançlı ve üretken hale getirebilir. Gao, haber açıklamasında, “Ve diğer insanlar bilimlerini bu yanlış çalışmalardan oluşturmaya çalışırsa, bu gerçekten tehlikeli olabilir” dedi.
Bilimsel disiplinlerin sahte yayınlarla dolup taştığı olası bir gelecekten kaçınmak için Gao ve ortak araştırmacıları, dergilerin ve konferansların tüm gönderimleri yapay zeka çıktı tespiti yoluyla yürütmesini tavsiye ediyor.
Ama hepsi kötü haber değil. İnsan incelemecileri kandıran ChatGPT, akademik bilim adamlarının tarzında ustalıkla yazabileceğini açıkça göstermiştir. Bu nedenle, teknolojinin araştırmacılar tarafından çalışmalarının okunabilirliğini artırmak için veya kendi ana dilleri dışında yayın yapan araştırmacılar için eşitliği ve erişimi artırmak için bir yazma yardımcısı olarak kullanılması mümkündür.
Chicago Üniversitesi’nde kıdemli çalışma yazarı ve veri bilimcisi olan Alexander Pearson, “Üretken metin teknolojisi, örneğin İngilizce konuşmayan bilim adamlarının çalışmalarını daha geniş toplulukla paylaşmalarını kolaylaştırmak gibi, bilimi demokratikleştirme konusunda büyük bir potansiyele sahiptir” dedi. , basın açıklamasında. “Aynı zamanda, kullanım için en iyi uygulamaları dikkatli bir şekilde düşünmemiz zorunludur.”
