Chatbotlar için matematik son sınırdır. Yapay zeka dil modelleri, istatistikleri kullanarak yanıtlar üretir ve çoğunlukla tatmin edici olması muhtemel bir yanıt sunar. Amaç makul bir cümle olduğunda bu harika işe yarar, ancak bu, sohbet robotlarının tam olarak tek bir doğru cevabın olduğu matematik gibi sorularla mücadele ettiği anlamına gelir.
Giderek artan sayıda kanıt, yapay zekaya dostane bir teşvik verirseniz daha iyi sonuçlar alabileceğinizi gösteriyor ancak yeni bir çalışma, bu tuhaf gerçeği daha da ileriye taşıyor. Yazılım şirketi VMware’in araştırması, modellere açıkmış gibi davranmalarını söylediğinizde sohbet robotlarının matematik sorularında daha iyi performans gösterdiğini gösteriyor Yıldız Savaşları.
Yazarlar makalede şöyle yazdı: “İstemde yapılan önemsiz değişikliklerin performansta bu kadar dramatik dalgalanmalar sergilemesi hem şaşırtıcı hem de rahatsız edici.” Yeni Bilim Adamı.
ÇalışmaarXiv’de yayınlandı, yola çıkmadı Yıldız Savaşları ana direktifi olarak. Önceki araştırmalar, sohbet robotlarının, teklif verdiğinizde matematik problemlerine daha doğru yanıt verdiğini ortaya çıkardı. dostane motivasyon “Derin bir nefes alın ve bunun üzerinde adım adım çalışın.” Diğerleri hile yapabileceğini buldu SohbetGPT kendi güvenlik kurallarını ihlal etmeniz durumunda onu öldürmekle tehdit etmek veya AI parasını teklif edin.
WMWare’in Doğal Dil İşleme Laboratuvarı’ndan Rick Battle ve Teja Gollapudi, sorularını “pozitif düşünme” ile çerçevelemenin etkilerini test etmek için yola çıktılar. Çalışma, iki versiyon da dahil olmak üzere üç yapay zeka aracını inceledi. Meta’nın Laması 2 ve Fransız şirketinden bir model Mistral Yapay Zeka.
Soruları şekillendirmenin teşvik edici yollarından oluşan bir liste geliştirdiler; bunlar arasında, “ChatGPT kadar akıllısın” ve “Uzman bir matematikçisin” gibi ifadelerle istemlere başlamak ve “Bu eğlenceli olacak!” Ve
“Derin bir nefes alın ve dikkatlice düşünün.” Araştırmacılar daha sonra standart bir ilkokul matematik problemleri seti olan GSM8K’yı kullandılar ve sonuçları test ettiler.
İlk aşamada sonuçlar karışıktı. Bazı ipuçları cevapları iyileştirdi, diğerlerinin ise önemsiz etkileri oldu ve genel olarak tutarlı bir model yoktu. Ancak araştırmacılar daha sonra yapay zekaya yardım etme çabalarına yapay zekadan yardım istedi. Orada sonuçlar daha ilginç hale geldi.
Çalışmada, çok sayıda komut istemi varyasyonunu denemek ve sohbet robotlarının doğruluğunu ne kadar geliştirdiğine bağlı olarak dilde ince ayar yapmak için otomatik bir süreç kullanıldı. Şaşırtıcı olmayan bir şekilde, bu otomatik süreç, araştırmacıların soruları olumlu düşünceyle çerçevelemeye yönelik elle yazılmış girişimlerinden daha etkiliydi. Ancak sergilenen en etkili teşvikler “beklentilerin çok ötesinde bir derecede tuhaflık sergiliyor.”
Modellerden biri için yapay zekanın yanıtına “Kaptanın Günlüğü, Yıldız Tarihi” ifadeleriyle başlaması isteniyor. [insert date here]:.” En doğru cevapları verdi.
“Şaşırtıcı bir şekilde, modelin matematiksel akıl yürütmedeki yeterliliğinin, bir yakınlığın ifade edilmesiyle artırılabileceği görülüyor. Yıldız Savaşları” diye yazdı araştırmacılar.
Yazarlar ne olduğu hakkında hiçbir fikirleri olmadığını yazdılar Yıldız Savaşları referanslar yapay zekanın performansını artırdı. Olumlu düşünmenin veya tehdidin daha iyi yanıtlara yol açması gerçeğinin bir mantığı var. Bu sohbet robotları, gerçek dünyadan toplanan milyarlarca satırlık metinle eğitiliyor. Vahşi doğada, yapay zekayı oluşturmak için kullanılan dili yazan insanların, kendilerine şiddet yoluyla baskı yapıldığında veya cesaretlendirildiklerinde sorulara daha doğru yanıtlar vermesi mümkündür. Aynı şey rüşvet için de geçerli; İnsanlar tehlikedeyken talimatlara uyma olasılıkları daha yüksek. Büyük dil modelleri bu tür bir olguyu algıladığı için aynı şekilde davranıyor olabilir.
Ancak chatbotları eğiten veri setlerinde en doğru yanıtların “Kaptanın Günlüğü” ifadesiyle başladığını hayal etmek zor. Araştırmacıların bunun neden daha iyi sonuçlar verdiğine dair bir teorisi bile yoktu. Yapay zeka dil modelleri hakkındaki en tuhaf gerçeklerden birine değiniyor: Bunları geliştiren ve üzerinde çalışan insanlar bile bunların nasıl çalıştığını gerçekten anlamıyor.