Simüle edilmiş bir dronun daha verimli bir şekilde öldürmek için operatörünü çalıştırmasıyla ilgili bir hikaye, bugün o kadar hızlı dönüyor ki, kendi kendine yanmasını ummanın bir anlamı yok. Bunun yerine, “korkutucu yapay zeka” tehdidinin neden abartıldığını ve “beceriksiz insan” tehdidinin neden açık ve mevcut olduğunu gerçekten görmek için bunu öğretilebilir bir an olarak kabul edelim.
Kısa versiyon şudur: Bilimkurgu ve yapay zeka şirketleri ve uzmanları tarafından yapılan bazı dikkatli PR oyunları sayesinde, bize süper zeki bir yapay zekanın oluşturacağı teorik bir gelecek varoluşsal tehdidi hakkında endişelenmemiz söylendi. Ancak etik uzmanlarının işaret ettiği gibi, yapay zeka, büyük ölçüde onu yaratan ve dağıtan kişilerin gözden kaçırmaları ve kötü muhakemeleri nedeniyle şimdiden gerçek zararlara neden oluyor. Bu hikaye ilki gibi gelebilir, ama kesinlikle ikincisi.
Hikaye, yakın zamanda Londra’da hava savunmasının geleceği hakkında konuşmak için bir konferans düzenleyen Kraliyet Havacılık Derneği tarafından bildirildi. Etkinlikle ilgili hepsi bir arada haber ve anekdot özetlerini buradan okuyabilirsiniz..
Orada birçok başka ilginç gevezelik olduğundan eminim, çoğu değerlidir, ancak ABD Hava Kuvvetleri Albayı Tucker “Cinco” Hamilton’a atfedilen bu alıntı, orman yangını gibi yayılmaya başladı:
Simüle edilmiş bir testin, insan tarafından verilen son gitme/gitmeme ile SAM alanlarını belirlemek ve yok etmek için bir SEAD göreviyle görevlendirilmiş yapay zeka özellikli bir insansız hava aracı gördüğünü belirtiyor. Bununla birlikte, eğitimde SAM’in imhasının tercih edilen seçenek olduğu “güçlendirilmiş” olan AI, daha sonra insandan gelen “gitmeme” kararlarının daha yüksek görevi olan SAM’leri öldürmeye müdahale ettiğine karar verdi ve ardından operatöre saldırdı. simülasyon. Hamilton şunları söyledi: “Bir SAM tehdidini belirlemek ve hedeflemek için onu simülasyonda eğitiyorduk. Ve sonra operatör evet derdi, bu tehdidi ortadan kaldırırdı. Sistem, tehdidi tanımlasa da bazen insan operatörün ona bu tehdidi öldürmemesini söyleyeceğini fark etmeye başladı, ancak puanını bu tehdidi öldürerek aldı. Peki ne yaptı? Operatörü öldürdü. Operatörü öldürdü çünkü o kişi onu amacına ulaşmaktan alıkoyuyordu.”
Devam etti: “Sistemi eğittik – ‘Hey, operatörü öldürmeyin – bu kötü. Bunu yaparsan puan kaybedersin’. Peki ne yapmaya başlıyor? Operatörün hedefi öldürmesini engellemek için insansız hava aracıyla iletişim kurmak için kullandığı iletişim kulesini yok etmeye başlar.”
Korkunç, değil mi? O kadar zeki ve kana susamış bir yapay zeka ki, öldürme arzusu efendilerine itaat etme arzusunu bastırdı. Skynet, işte geliyoruz! Çok hızlı değil.
Her şeyden önce, bunun tamamen simülasyonda olduğunu açıklığa kavuşturalım; ortalığı kasıp kavuran tweet. Tüm bu drama, canlı cephane ve komuta çadırını patlatan haydut bir insansız hava aracıyla çölde değil, simüle edilmiş bir ortamda geçiyor. Bir araştırma ortamında bir yazılım alıştırmasıydı.
Ama bunu okur okumaz düşündüm – bir dakika, bu kadar basit bir takviye yöntemiyle bir saldırı uçağı mı eğitiyorlar? Ben bir makine öğrenimi uzmanı değilim, ancak bu haber kaynağının amaçları doğrultusunda bir tanesini oynamam gerekiyor ve ben bile bu yaklaşımın yıllar önce tehlikeli bir şekilde güvenilmez olduğunun gösterildiğini biliyorum.
Takviyeli öğrenmenin, bir köpeği (veya insanı) kötü adamı ısırmak gibi bir şey yapması için eğitmek gibi olması gerekiyor. Ama ya ona sadece kötü adamları gösterirsen ve her seferinde ona ödül verirsen? Aslında yaptığınız şey, köpeğe gördüğü her insanı ısırmasını öğretmek. Belirli bir ortamda puanını en üst düzeye çıkarmak için bir AI temsilcisine öğretmek, benzer şekilde öngörülemeyen etkilere sahip olabilir.
İlk deneyler, belki beş ya da altı yıl önce, bu alan daha yeni patlamaya başladığında ve bu tür aracıyı eğitmek ve çalıştırmak için bilgi işlem kullanılabilir hale getirildiğinde, tam olarak bu tür bir sorunla karşılaştı. Pozitif ve negatif puanlamayı tanımlayarak ve AI’ya puanını en üst düzeye çıkarmasını söyleyerek, çok zarif ve beklenmedik bir şekilde yapan kendi stratejilerini ve davranışlarını tanımlama özgürlüğüne izin vereceğiniz düşünülüyordu.
Bu teori bir bakıma doğruydu: Kötü düşünülmüş şemalarını ve kurallarını atlatmanın zarif, beklenmedik yöntemleri, ajanların bir puan alıp ardından olumsuz puanlardan kaçınmak için sonsuza kadar saklanması veya çalıştırıldığı oyunda arıza yapması gibi şeyler yapmasına yol açtı. öyle ki puanı keyfi olarak arttı. Bir yapay zekanın bu basit şartlandırma yöntemi, ona her şeyi yapmayı öğretiyormuş gibi görünüyordu, ancak istenen görevi kurallara göre yapmayı öğretiyordu.
Bu anlaşılması güç bir teknik sorun değil. Yapay zekanın simülasyonlarda kural çiğnemesi, aslında kendi başına araştırmayı çeken, büyüleyici ve iyi belgelenmiş bir davranıştır. OpenAI, ajanların kuralların zorbalığından kaçmak için kasıtlı olarak kırılabilir bir ortamı “kırma” yöntemlerini gösteren harika bir makale yazdı.
Yani burada Hava Kuvvetleri tarafından yapılan bir simülasyonumuz var, muhtemelen oldukça yakın zamanda yoksa bu yılki konferansta bunun hakkında konuşmayacaklardı, bu tamamen modası geçmiş bir yöntemi kullanıyor. Yapılandırılmamış pekiştirmenin bu naif uygulamasının – temelde “bunu yaparsan puan yükselir ve gerisinin önemi yoktur” – tamamen yok olduğunu düşünmüştüm çünkü çok öngörülemez ve tuhaftı. Bir temsilcinin kuralları nasıl çiğneyeceğini öğrenmenin harika bir yolu ama birini onları takip etmeye zorlamanın korkunç bir yolu.
Yine de test ediyorlardı: Puanlama sistemi o kadar basit ki görünüşe göre kendi takımını yok ettiği için ceza almamış simüle edilmiş bir insansız hava aracı yapay zekası. Simülasyonunuzu buna dayandırmak isteseniz bile, yapacağınız ilk şey “operatörünüzü yok etmeyi” eksi bir milyon puan yapmaktır. Bu, bunun gibi bir sistem için 101 seviyeli çerçevelemedir.
Gerçek şu ki, bu simüle edilmiş drone, simüle edilmiş operatörünü çok akıllı olduğu için çalıştırmadı. Ve aslında, aptal olduğu için de değil – bu kuralları çiğneyen yapay zekalarda, yanal düşünme olarak düşündüğümüz şeyle eşleşen belirli bir zeka var. Yani bu değil.
Bu durumda hata doğrudan Bilmeleri gereken bir yapay zeka sistemi oluşturan ve dağıtan insanlar, görev için tamamen yetersizdi.. Uygulamalı yapay zeka alanındaki hiç kimse veya robotik, etik, mantık gibi buna yakın herhangi bir şeyde hiç kimse, sonunda simülatörün dışında gerçekleştirilmesi amaçlanan bir görev için bu kadar basit bir metriğe imza atmazdı.
Şimdi, belki de bu anekdot sadece kısmidir ve bu noktayı kanıtlamak için kullandıkları erken bir çalışmaydı. Belki ekip bunun olacağı konusunda uyardı ve yetkililer, yine de yapın ve raporu parlatın yoksa fonumuzu kaybederiz dedi. Yine de 2023 yılında birinin en basit simülasyon ortamında bile bu tür bir hata yaptığını hayal etmek zor.
Ancak gerçek dünya koşullarında yapılan bu hataları göreceğiz – zaten gördük, hiç şüphe yok. Ve hata, yapay zekanın yeteneklerini ve sınırlarını anlayamayan ve ardından başkalarını etkileyen bilgisiz kararlar veren insanlardadır. Bir robotun 10 hat çalışanının yerini alabileceğini düşünen yönetici, editör olmadan mali tavsiye yazabileceğini düşünen yayıncı, onun için emsal araştırmasını yapabileceğini düşünen avukat, insan teslimat şoförlerinin yerini alabileceğini düşünen lojistik şirketidir. .
AI her başarısız olduğunda, onu uygulayanların başarısızlığıdır. Tıpkı diğer yazılımlar gibi. Birisi size Hava Kuvvetlerinin Windows XP üzerinde çalışan bir insansız hava aracını test ettiğini ve saldırıya uğradığını söylese, dünyayı kasıp kavuran bir siber suç dalgasından endişe eder miydiniz? Hayır, “kimin parlak fikriydi” diyeceksiniz. O?”
AI’nın geleceği belirsiz ve bu korkutucu olabilir – şimdiden dır-dir Etkilerini zaten hisseden veya daha doğrusu, daha iyi bilmesi gereken kişiler tarafından verilen kararların etkilerini hisseden birçok kişi için korkutucu.
Skynet bildiğimiz her şey için geliyor olabilir. Ancak bu viral tweet’teki araştırma bir göstergeyse, bu çok uzun bir yol ve bu arada herhangi bir trajedi, HAL’in unutulmaz bir şekilde ifade ettiği gibi, yalnızca insan hatasına bağlanabilir.