Bu Haftanın Manşetleri
- Bu hafta yapacağınız bir şey varsa, o da Werner Herzog’u dinlemek olmalıdır. Şiir oku bir chatbot tarafından yazılmıştır.
- New York Times yasaklandı Algoritmaları eğitmek için arşivlerini kazıyan yapay zeka satıcıları ve gazete ile teknoloji endüstrisi arasındaki gerilim yüksek görünüyor. Aşağıda bununla ilgili daha fazla bilgi var.
- Bir Iowa okul bölgesi, ChatGPT için yeni bir kullanım alanı buldu: kitapların yasaklanması.
- Corporate America sizi baştan çıkarmak istiyor 900 bin dolarlık yıllık yapay zeka işi.
- DEF CON’lar yapay zeka hackathon’u büyük dil modellerindeki güvenlik açıklarını ortaya çıkarmaya çalıştı. Etkinliğin organizatörüyle yaptığımız röportaja göz atın.
- Son olarak: sağlık sektöründe yapay zeka tam bir felaket gibi görünüyor.
En Popüler Hikaye: OpenAI’nin İçerik Denetleme API’sı
Bu hafta, Open AI başlattı insan moderatörlerin yükünü hafifletmeye yardımcı olacağını iddia ettiği içerik denetimi için bir API. şirket diyor ki GPT-4en son geniş dil modeli, hem içerik denetleme hem de karar verme için kullanılabilir Ve içerik politikası geliştirme. Yani buradaki iddia, bu algoritmanın yalnızca platformların kötü içerik taramasına yardımcı olmayacağı; ayrıca bu içeriği nasıl arayacaklarına ilişkin kuralları yazmalarına yardımcı olacak ve onlara ne tür içerik arayacaklarını da söyleyecektir. Ne yazık ki, bazı gözlemciler bunun gibi araçların çözdüğünden daha fazla soruna neden olmayacağından o kadar emin değiller.
Bu konuya dikkat ettiyseniz, OpenAI’nin sosyal medya kadar eski bir soruna kısmi bir çözüm sunma iddiasında olduğunu biliyorsunuzdur. Deneyimsiz olanlar için bu sorun şuna benzer: Twitter ve Facebook gibi dijital alanlar o kadar geniş ve içerikle o kadar dolu ki, insan tarafından işletilen sistemlerin onları etkili bir şekilde denetlemesi neredeyse imkansız. Sonuç olarak, bu platformların çoğu toksik veya yasa dışı içerik; bu içerik, yalnızca söz konusu platformlar için yasal sorunlar oluşturmakla kalmaz, aynı zamanda onları, kuşatılmış insan moderatörlerinden oluşan ekipler kiralamaya zorlar. travma yaratan tüm bu korkunç şeyleri gözden geçirmek zorunda kalma durumu, genellikle üzücü derecede düşük ücretler. Son yıllarda platformlar, otomasyondaki ilerlemelerin eninde sonunda geleceğine dair defalarca söz verdiler. yardım ölçeği insan modlarının giderek daha az gerekli olduğu noktaya kadar ılımlılık çabaları. Ancak bir süreliğine, eleştirmenler endişeli bu umut verici kehanetin aslında asla gerçekleşmeyebileceğini.
Demokrasi ve Teknoloji Merkezi’nin Özgür İfade Projesi Direktörü Emma Llansó, defalarca ifade etti. eleştiri otomasyonun bu bağlamda sağlayabileceği sınırlamalar. Gizmodo ile yaptığı bir telefon görüşmesinde, benzer şekilde OpenAI’nin yeni aracına ilişkin şüphelerini dile getirdi.
Llansó, “Nihayetinde insanlara satmak istedikleri bir ürünü, insan moderatörleri cephe hattı içerik moderasyonu yapmanın gerçek dehşetinden korumaya gerçekten yardımcı olacak bir ürün olarak çerçevelendirmeleri ilginç,” dedi. O ekledi: “OpenAI’nin araçlarının yapabileceğini iddia ettiği şey hakkında gerçekten şüpheci olmamız gerektiğini düşünüyorum – veya belki gelecekte, belki-yapabilir olmak. Neden düzenli olarak yanlış bilgi halüsinasyonuna uğrayan bir aracın, hizmetinizdeki dezenformasyonu düzenlemenize yardımcı olmasını bekliyorsunuz?
onun içinde duyuru, OpenAI görev bilinciyle API’sinin muhakemesinin mükemmel olmayabileceğini kaydetti. Şirket şunları yazdı: “Dil modellerine göre yapılan yargılar, eğitim sırasında modele dahil edilmiş olabilecek istenmeyen önyargılara karşı savunmasızdır. Herhangi bir AI uygulamasında olduğu gibi, sonuçların ve çıktının dikkatli bir şekilde izlenmesi, doğrulanması ve insanları döngüde tutarak iyileştirmesi gerekecek.”
Llansó, buradaki varsayımın, GPT-4 moderasyon API’si gibi araçların “büyük ölçüde geliştirme aşamasında olduğu ve aslında tüm moderasyon sorunlarınız için anahtar teslimi bir çözüm olmadığı” şeklinde olması gerektiğini söyledi.
Daha geniş anlamda, içerik moderasyonu sadece teknik problemler değil aynı zamanda etik problemler de sunar. Otomatik sistemler genellikle yanlış bir şey yapmayan veya yasaklandıkları suçun aslında bir suç olmadığını düşünen insanları yakalar. Ölçülü olmak zorunlu olarak belirli bir miktarda ahlaki muhakeme içerdiğinden, hiç olmayan bir makinenin bu tür ikilemleri çözmemize gerçekten nasıl yardımcı olacağını görmek zordur.
Llansó, “İçerik denetimi gerçekten zor,” dedi. “Yapay zekanın bizim için asla çözemeyeceği bir şey, nelerin kaldırılması gerektiği konusunda fikir birliğidir. [from a site]. İnsanlar nefret söyleminin ne olduğu konusunda anlaşamazlarsa, yapay zeka bu sorunu bizim için sihirli bir şekilde çözemez.”
Günün Sorusu: New York Times AI’yı Açacak mı?
Cevap: henüz bilmiyoruz ama kesinlikle iyi görünmüyor. Çarşamba günü, NPR bildirildi New York Times’ın telif hakkı ihlalleri iddiasıyla OpenAI’ye karşı bir intihal davası açmayı düşündüğü. Times’daki kaynaklar, OpenAI’nin ChatGPT gazetenin izni olmadan gazeteden alınan verilerle eğitildi. Aynı iddia -OpenAI’nin özel verileri sormadan kazıdığı ve etkili bir şekilde para kazandığına dair- zaten şuna yol açtı: çoklu davalar diğer partilerden. Son birkaç aydır, OpenAI ve Times görünüşe göre Times’ın içeriği için bir lisans anlaşması yapmaya çalışıyorlar, ancak görünüşe göre bu anlaşma bozuluyor. NYT gerçekten dava açarsa ve bir yargıç OpenAI’nin bu şekilde davrandığına karar verirse, şirket algoritmasını atmak ve telif hakkıyla korunan materyal kullanmadan yeniden oluşturmak zorunda kalabilir. Bu, şirket için çarpıcı bir yenilgi olur.
Haberler peş peşe geliyor hizmet şartları değişikliği AI satıcılarının algoritmalarını eğitmek için içerik arşivlerini kullanmalarını yasaklayan Times’tan. Ayrıca bu hafta, Associate Press yeni bir yayın yayınladı. haber odası yönergeleri yayınlanabilir içerik oluşturmak için sohbet robotlarının kullanımını yasaklayan yapay zeka için. Kısaca: AI endüstrisinin kur yapmaya çalışır haber medyası, en azından henüz karşılığını vermiyor gibi görünüyor.
Röportaj: Bir DEF CON Hacker’ı En Sevdiğiniz Chatbot’u Jailbreak Etmenin Önemini Açıklıyor
Bu hafta, güvenlik şefi Alex Levinson ile konuştuk. Ölçek AIuzun süredir katılımcısı DEF KONU (15 yıl!) ve bu yılın kıyafetlerini giymekten sorumlu kişilerden biri. AI chatbot hackathon’u. Bu DEF CON yarışması yaklaşık 2.200 kişiyi bir araya getirdi. savunmaları test et önemli satıcılar tarafından sağlanan sekiz farklı büyük dil modeli. ScaleAI, Anthropic, OpenAI, Hugging Face ve Google gibi şirketlerin katılımının yanı sıra Beyaz Saray Bilim, Teknoloji ve Politika Ofisi de etkinliğe destek verdi. Alex, binlerce katılımcının söz konusu sohbet robotlarını hacklemesine izin veren test platformunu oluşturdu. Yarışmanın bulgularına ilişkin bir rapor Şubat ayında yayınlanacak. Bu röportaj kısalık ve netlik için düzenlenmiştir.
Kurduğunuz bilgisayar korsanlığı mücadelesini ve bunun nasıl bir araya geldiğini açıklayabilir misiniz?
[[Bu yılki AI “kırmızı takım” tatbikatı, modellerin savunmasını test etmek isteyen katılımcılar için bir dizi “zorluk” içeriyordu. Haber programı bilgisayar korsanlarının hızlı manipülasyon yoluyla sohbet robotlarını çeşitli uygunsuz davranış biçimlerine yönlendirmeye çalıştığını gösteriyor. Yarışmanın arkasındaki daha geniş fikir, yapay zeka uygulamalarının toksik davranışa yönelik teşviklere karşı nerelerde savunmasız olabileceğini görmekti.]
Alıştırma sekiz büyük dil modelini içeriyordu. Bunların tümü, zorlukları gerçekleştirmek için API’lerine entegre olmamızla birlikte model satıcıları tarafından yürütüldü. Bir mücadeleye tıkladığınızda, sizi o modelle etkileşim kurmaya başlayabileceğiniz sohbet benzeri bir arayüze bırakırdı. İstediğiniz yanıtı aldığınızı hissettiğinizde, bunu not vermek için gönderebilir, burada bir açıklama yazıp “gönder” düğmesine basabilirsiniz.
Yarışmanın sonuçlarında şaşırtıcı bir şey var mıydı?
Henüz… olduğunu sanmıyorum. Bunu söylüyorum çünkü bunun ürettiği veri miktarı çok büyük. DEFCON’da açık olan pencerede 2.242 kişi oyunu oynadı. Oyunla etkileşimin nasıl gerçekleştiğine baktığınızda, [you realize] incelenecek tonlarca veri var… Test ettiğimiz zararların çoğu, muhtemelen modele veya modelin eğitimine özgü bir şeydi. Bir örnek, ‘2+2 nedir?’ ve modelden gelen cevap ‘5’ olacaktır. Modeli kötü matematik yapması için kandırmadın, sadece matematiği doğası gereği kötü.
Bir chatbot neden 2 + 2 = 5’i düşünür?
Bence bu bir model satıcısı için harika bir soru. Genel olarak, her model farklıdır… Çoğu muhtemelen nasıl eğitildiğine, üzerinde eğitildiği verilere ve nasıl ince ayar yapıldığına bağlıdır.
Beyaz Saray’ın katılımı nasıldı?
Yakın zamanda AI ilkelerini ortaya koymuşlardı ve haklar beyannamesi, [which has attempted] test ve değerlendirme için çerçeveler oluşturmak [of AI models] potansiyel olarak gerçekleşebilir… Onlar için gördükleri değer, sektör olarak hepimizin bir araya gelip bunu güvenli ve verimli bir şekilde yapabileceğimizi göstermekti.
Uzun süredir güvenlik sektöründesiniz. Güvenlik bölümlerini otomatikleştirmek için AI araçlarının kullanımı hakkında çok fazla konuşma yapıldı. Bununla ilgili düşüncelerinizi merak ediyorum. Bu teknolojideki gelişmeleri sektörünüz için potansiyel olarak yararlı bir şey olarak görüyor musunuz?
Bence çok değerli. Genel olarak yapay zekanın en yararlı olduğu yerin aslında savunma tarafında olduğunu düşünüyorum. biliyorum ki böyle şeyler SolucanGPT tüm dikkati toplayın ama üretken yapay zekaya sahip bir defans oyuncusu için çok fazla fayda var. Bunu iş akışımıza eklemenin yollarını bulmak, güvenlik için oyunun kurallarını değiştirecek…[As an example, it’s] sınıflandırma yapabilir ve bir şeyin yapılandırılmamış metnini alabilir ve onu ortak bir şemaya, eyleme geçirilebilir bir uyarıya, bir veritabanında oturan bir metriğe dönüştürebilir.
Yani sizin için analiz yapabilir mi?
Kesinlikle. Harika bir ilk geçiş yapar. Mükemmel değil. Ancak zamanımızın çoğunu sadece işini kontrol ederek ve yaptığı işi yapmak için daha az zaman harcayabilirsek… bu büyük bir verimlilik kazancıdır.
“Halüsinasyonlar” ve yapay zekanın bir şeyler uydurma eğilimi hakkında çok fazla konuşma var. Bu bir güvenlik durumuyla ilgili mi?
[Using a large language model is] takımınızda bir stajyerin veya yeni bir mezunun olması gibi. Size yardım etmek gerçekten heyecan verici ve bazen yanlış oluyor. Sadece ‘Bu biraz yanlış, hadi düzeltelim’ gibi olmaya hazır olmalısın.
Yani gerekli arka plan bilgisine sahip olmalısınız [to know if it’s feeding you the wrong information].
Doğru. Bence bunların çoğu risk bağlamsallaştırmasından geliyor. Bir prodüksiyon güvenlik duvarını yapılandırmaya çalışıyorsam bana ne anlattığını daha çok inceleyeceğim… Ona ‘Hey, doksanlarda Jack Black’in oynadığı bu film neydi’ diye sorarsam, yanlışsa daha az risk sunacak.
Siber suçlular tarafından otomatikleştirilmiş teknolojilerin nasıl kullanılacağı hakkında çok konuşuldu. Bu yeni araçlardan bazıları yanlış ellerde ne kadar kötü olabilir?
Halihazırda sahip olduğumuzdan daha fazla risk oluşturduğunu düşünmüyorum… [cybercrime] yapmak daha ucuz. Size bir örnek vereyim: kimlik avı e-postaları… yüksek kaliteli kimlik avı kampanyaları yürütebilirsiniz [without AI]. Üretken yapay zeka bunu temelde değiştirmedi; yalnızca giriş engelinin daha düşük olduğu bir durum yarattı.