Her ne kadar birçok C-suite ve iş hattı (LOB) yöneticileri, üretken AI (Genai) verimliliğine ve esnekliğine odaklanmak için ellerinden gelen her şeyi yapıyor olsa da-ve Olumsuz Teknolojinin ne sıklıkta yanlış cevaplar verdiği hakkında-BT karar vericileri de aynı şeyi yapamazlar.
Bu sadece halüsinasyonlarla ilgili değil, ancak bu tür hataların ortaya çıktığı artan oranı korkunç. Bu güvenilirlik eksikliğine öncelikle dört kovadan birinin unsurlarından kaynaklanmaktadır:
- Halüsinasyonlargenai araçlarının cevap vermesi;
- Kötü Eğitim Verileribu, yetersiz, modası geçmiş, önyargılı veya düşük kaliteli veriler anlamına gelir;
- Göz ardı edilen sorgu talimatlarıgenellikle eğitim verilerindeki önyargıların bir tezahürüdür;
- Göz ardı edilen korkuluklar(Multi-milyar dolarlık bir lisans ücreti için, modelin en azından denemek Yapması söylenenleri yapmak için.)
Yönetim ekibinizin bu tür dublörleri çeken bir insan çalışanına nasıl tepki vereceğini öngörmeye çalışın. İşte senaryo: sorunlu çalışan ve çalışan amiriyle ofisindeki patron.
Exec: “Son zamanlarda mükemmel iş yapıyorsunuz. Meslektaşlarınızdan çok daha hızlısınız ve ustalaşacağınızı anladığınız görevlerin sayısı gerçekten şaşırtıcı. Ama geçen ay 20 kez, raporunuzda sadece uydurduğunuz iddiaları bulduk. Bunu bir daha asla yapmaya söz verirseniz, her şey yolunda olmalı.”
Süpervizör: “Aslında, patron, bu çalışanın belirli tuhaflıkları var ve kesinlikle bir şeyler hazırlamaya devam edecek. Yani, evet, bu ortadan kalkmayacak. Heck, bu işçinin çok daha sık bir şeyler oluşturmayacağına söz veremem.”
Exec: “Tamam. Bunu göz ardı edeceğiz. Ama benim anlayışım, talimatlarınızı tekrar tekrar görmezden geldi ve sadece istediğini yaptı. En azından bunu yapmayı bırakmasını sağlayabilir miyiz?”
Süpervizör: “Hayır. Sadece yaptığı şey bu. Onu işe aldığımızda bunu biliyorduk.”
Exec: “Çok iyi. Ama bu ay üç kez, işçilerin çok gizli bir açıklığa ihtiyaç duyduğu binanın kısıtlı kısmında bulundu. En azından onu kurallarımıza uymasını sağlayabilir misiniz?”
Süpervizör: “Hayır. Ve lisans ücretinin bu yıl 5.8 milyar dolar olduğu göz önüne alındığında, geri dönmek için çok fazla yatırım yaptık.”
Exec: “Yeterince adil. Devam et.”
Ve yine de, bu kadar çok işletmenin bugün yaptığı şey budur, bu yüzden ABD Ulusal Havacılık ve Uzay İdaresi’nden (NASA) bir Mart raporu bu kadar önemlidir.
NASA raporu Genai’nin eleştirel araştırmalara dayanamayacağını buldu.
Değerlendirmenin yürütülmesinin “noktası” “kabul edilemez risk yaratan sistemleri filtrelemekti. Uygun güvenlik analizi ve güvenlik mühendisliği faaliyetlerini gerçekleştirmeden hizmete girme potansiyeli olan bir sistemi yayınlamadığımız için, güvenlik mühendisliği ve sertifikasyonun kritik faaliyetlerinde kullanılmak üzere uygun olduğuna inanmak için düzenleyici boru hattına teknolojiyi benimsememeliyiz” dedi. “Güvence argümanlarını yazmak veya gözden geçirmek için bir teknoloji olarak şüphe etmek için bir neden var.
Bilimsel mantığın harika bir gösterisinde, rapor – BT gıda zincirindeki CIO’lar için okuma olması gereken bir bölümde – Genai modellerinin gerçekte ne için kullanılabileceğini merak etti.
NASA araştırmacıları, “Kullanmadan önce önerilen bir LLM tabanlı otomasyonun kullanılması için uygunluk oluşturmak için ampirik araştırmaların kullanılmasında bariz potansiyel alternatiften bahsetmeye değer.
“Ama burada iki soru sormaya değer: (1) Bu, daha aşina olduğumuz mevcut uygulamalar olduğunda nasıl haklı çıkarılabilir? Ve (2) nasıl çalışıp çalışmadığını nasıl bilebiliriz? İlk soru büyük ölçüde önerilen bir uygulamanın özelliklerine ve argüman temelli süreçlerin başarısız olduğu bir şey, bir şeylerin, daha fazla bir şey olduğu durumun, daha fazla bir şey olduğu durumlarda, bu durumun bulunabileceği duruma neden olabilir.
Rapor daha sonra bu tür deneylerde mantıksal çelişkiye dikkat çekiyor: “Ancak bu ikinci soruyu bırakıyor ve kırışıklık yaratıyor: daha az eleştirel sistemlerin devam etmesi de daha kritik sistemlerden daha az titiz. Bu nedenle, yeni süreçlerin ne kadar iyi işe yarayabileceği hakkında en az güvenilir geri bildirim üreten uygulamalardır.
Ayrıca, bu tür bir modelin koşulların ne zaman bir kararı kötü bir fikir vereceğini bileceğini varsaymanın kusuruna dikkat çekti. “Gerçekten de köşede, BS’nin büyük olasılıkla hatalı veya yanıltıcı olmasını bekleyebileceğimizdir. LLM ilkelerden kaynaklanmadığı için, bir davaya bakma ve olağan akıl yürütmeyi uygulanamaz hale getirebilecek eğitim verilerini tanıma kapasitesi yoktur. ISO 26262-stil otomotik güvenlik argümanlarının, çok farklı bir şekilde hazırlanmayacak bir şekilde hazırlanmayacak bir şekilde hazırlanmayacak bir şekilde, bir lotun hazırlanması gerektiği gibi, bir lottan oluşacak bir şekilde hazırlanmayacaktır. Tipik bir sedan veya hafif fayda aracından daha fazla araç ve bu nedenle tipik akıl yürütme-örneğin, sanayi standart su saldırı koruma derecelendirmelerinin uygunluğu hakkında-uygulanamaz. ”
Aynı mantıklı sorular her işletme için geçerli olmalıdır. Hassas çalışmanın misyon açısından kritik doğası, genai kullanımını engelleyecekse-ve tipik düşük riskli çalışmaya dahil olan düşük izleme, bunu denemek için uygun olmayan bir ortam haline getiriyorsa-nerede zorunlu kullanılır mı?
Gartner analisti Lauren Kornutick, bunların zor kararlar olabileceğini kabul etti, ancak CIO’lar dizginleri almalı ve “aklın sesi” olarak hareket etmeli.
Kurumsal teknoloji projeleri genel olarak “işletme beklentilere karşı yanlış hizalandığında başarısız olabilir, bu nedenle birisinin odada bir akıl sesi olması gerekiyor. (CIO) sadece bir sonraki parlak şeye koşmaya değil, çözümleri sürdürmeye yardımcı olmalı.
“Bunlar ileriye dönük en iyi yola karar vermek için İcra Komitesi’ne gitmesi gereken şeyler” dedi. “Bu riski alacak mıyız? Değişiklik nedir? Bu risk potansiyel YG’ye karşı nasıl görünüyor? Diğer liderlerle birlikte bir liderlik ekibi olarak risk toleranslarının ne olduğunu hizalamak ve daha sonra bunu yönetim kuruluna getirmek için çalışıyorlar.”
Forrester kıdemli analisti Rowan Curran daha taktiksel bir yaklaşım önerdi. Karar vericilerin, her iş biriminin Genai teknolojisini nerede ve nasıl kullanacaklarını tartıştıklarında başlangıçta çok daha fazla dahil oldukları konusunda ısrar etmelerini önermektedir.
Curran, “Gittikleri yeni kullanım durumu konusunda çok özel olmalısınız” dedi. “Yönetişimi sola doğru itin, bu yüzden ilk etapta kullanım durumunu geliştirirken, riski belirlemelerine ve veri yönetişim kontrollerini belirlemelerine yardımcı oluyorsunuz.”
Curran ayrıca ekiplerin Genai verilerini bir başlangıç noktası ve başka bir şey olarak almaları gerektiğini önerdi. “Kesin cevap için buna güvenmeyin.”
Genai’ye çok fazla güven, başka bir deyişle ve yılın her günü April Fool Günü yaşıyor olabilirsiniz.
