Nevada, önümüzdeki birkaç ay içinde Google destekli, işsizlik itiraz duruşmalarının tutanaklarını analiz edecek ve hak sahiplerinin yardım alıp almaması gerektiği konusunda insan hakemlere önerilerde bulunacak üretken bir yapay zeka sistemi başlatmayı planlıyor.
Sistem ülkede türünün ilk örneği olacak ve devlet yetkilileri ile Google’ın üretken yapay zekanın yüksek riskli bir hükümet kararını etkilemesine olanak tanıması açısından önemli bir deneyi temsil ediyor. Bu karar, işsiz Nevadalıların cebine binlerce dolar koyabilir veya bu parayı geri alabilir.
Nevada yetkilileri, Google sisteminin itiraz sürecini hızlandıracağını, hakemlerin karar yazma süresini bazı durumlarda birkaç saatten sadece beş dakikaya düşüreceğini ve eyaletin COVID-19 salgınının zirve yaptığı dönemden bu yana beklemede olan inatçı dava birikimini çözmesine yardımcı olacağını söylüyor.
Araç, bir kişinin işsizlik talebinin onaylanması, reddedilmesi veya değiştirilmesi gerekip gerekmediğine dair kendi analizini sunarak, duruşma tutanaklarına ve delil belgelerine dayalı öneriler üretecek. Nevada İstihdam, Eğitim ve Rehabilitasyon Dairesi (DETR) müdürü Christopher Sewell, en az bir insan hakemin daha sonra her öneriyi inceleyeceğini söyledi. Hakem öneriyi kabul ederse, kararı imzalayacak ve yayınlayacak. Kabul etmezse, hakem belgeyi gözden geçirecek ve DETR tutarsızlığı araştıracak.
“Yapay zeka yok [written decisions] Sewell, “İnsan etkileşimi ve insan incelemesi olmadan çıkanlar” dedi. “Kararları daha hızlı çıkarabiliriz, böylece davacıya gerçekten yardımcı olabiliriz.”
Yargı akademisyenleri, eski bir ABD Çalışma Bakanlığı yetkilisi ve Nevadalıları temyiz duruşmalarında temsil eden avukatlar, hıza yapılan vurgu nedeniyle Nevada’nın koyacağı insani bariyerlerin zayıflatılabileceğinden endişe duyduklarını Gizmodo’ya söyledi.
Nevada Legal Services’ın toplum katılımı direktörü Morgan Shah, “Aradıkları zaman tasarrufu yalnızca inceleme çok yüzeysel olduğunda gerçekleşir,” dedi. “Birisi bir şeyi kapsamlı ve düzgün bir şekilde inceliyorsa, aslında o kadar da fazla zaman kazanmıyor. İnsanların bir nevi kısayola başvurmaya teşvik edildiği bir ortamı ne zaman yaratacaksınız?”
Çalışma Bakanlığı’nda işsizlik modernizasyon politikasının eski müdür yardımcısı Michele Evermore da benzer endişeleri paylaştı. “Bir robot size bir öneri verdiyse ve siz sadece bir kutucuğu işaretlemeniz gerekiyorsa ve birikmiş işleri temizleme baskısı varsa, bu biraz endişe vericidir,” dedi.
Otomasyon önyargısıyla ilgili bu korkulara yanıt olarak Google sözcüsü Ashley Simms, “Müşterilerimizle birlikte olası önyargıları belirlemek ve gidermek için çalışıyoruz ve federal ve eyalet gerekliliklerine uymalarına yardımcı oluyoruz” dedi.
Gizlilik ve Doğruluk
Sewell, DETR’nin bir yıl önce bir satış görüşmesi sırasında işsizlik taleplerini işlemek için yapay zekayı kullanma konusunda Google ile görüşmelere başladığını söyledi. Sonraki aylarda, kurum, çeşitli karmaşıklıktaki temyiz davalarından duruşma kayıtlarını analiz etmek için şirketin teknolojisini kullanarak düzinelerce test yürüttü. Sewell, Google’ın “sağlam bir ürün yarattığını ve doğru şeyi yaptığını” belirledikten sonra, DETR’nin geçen ay eyaletin Sınav Kurulu tarafından onaylanan 1 milyon dolarlık bir sözleşmeyi kabul ettiğini söyledi.
Temyiz duruşmaları ve ilişkili belgeler vergi bilgileri, sosyal güvenlik numaraları ve diğer özel tanımlayıcıların yanı sıra bir talep sahibinin sağlığı, ailesi ve mali durumu hakkında son derece hassas bilgiler içerebilir. Sözleşme uyarınca Google, temyiz duruşmalarından kişisel olarak tanımlanabilir bilgilere erişemeyecek ve model işlediği gizli verileri başka amaçlar için kullanması yasaklanacak, dedi DETR sözcüsü Valentina Bonaparte.
Bonaparte, Nevada’nın itiraz sistemi için yeni bir üretken AI modeli eğitmeyeceğini söyledi. Bunun yerine, eyalet, geliştiricilerin belirli amaçlar için temel AI modellerini ince ayar yapmalarına olanak tanıyan bir bulut hizmeti olan Google’ın Vertex AI stüdyosunu kullanarak bir geri alma-artırılmış nesil (RAG) modeli oluşturacak. RAG modelleri, temel modelin normalde üreteceğinden daha özel ve doğru sonuçlar sağlamak için belirli bir veritabanından (bu durumda Nevada işsizlik yasası ve önceki itiraz davalarını içeren bir veritabanı) bilgi alır.
DETR’nin BT yöneticisi Carl Stanfield, bir yönetim komitesinin model ince ayar yapılırken haftalık olarak ve yayına girdiğinde de üç ayda bir toplanarak sistemi halüsinasyonlar ve önyargılar açısından izleyeceğini söyledi. Üretken büyük dil modelleri metni anlamaz veya bir insanın yaptığı gibi mantıksal olarak akıl yürütmez, eğitim materyallerindeki kullanıcı istemlerine ve kalıplara dayanarak bir metin dizisinde bir sonraki kelime veya ifadenin ne olması gerektiğini tahmin ederler. Halüsinasyon, bir sonraki metin tahminlerinin gerçekte yanlış veya yanıltıcı yanıtlar oluşturduğu zaman için kullanılan bir endüstri terimidir.
Birinde son çalışmaYale ve Stanford üniversitelerinden araştırmacılar, yasal araştırma yürütmeye yardımcı olmak için yasa, yönetmelik ve mahkeme kararları veritabanlarından yararlanan ticari olarak temin edilebilen birkaç RAG modelini test etti. Modellerin %17 ila %33 oranında sorulara yanlış veya yanıltıcı yanıtlar verdiğini ve %18 ila %63 oranında eksik yanıtlar döndürdüğünü buldular.
Google’ın Gemini 1.5 Pro modeli şu anda en iyi performans gösteren HELM LegalBench’te, büyük dil modellerinin hukukun farklı yönleriyle ilgili soruları yanıtlama yeteneğini değerlendiren farklı bir kıyaslama sistemi. Gemini, kıyaslama testlerinde hukuki soruları %76 oranında doğru yanıtlarken, daha hafif bir sürüm olan Gemini 1.5 Flash, soruları %66 oranında doğru yanıtladı. Simms, Nevada’nın hangi Google modelini kullanacağını söylemek için henüz çok erken olduğunu söyledi.
Herhangi bir doğruluk eksikliği Nevada Hukuk Hizmetleri’ndeki avukatları ilgilendirir. AI itiraz sistemi bir hakemin kararını etkileyen bir halüsinasyon üretirse, bu yalnızca kararın yanlış olabileceği anlamına gelmez, aynı zamanda davacının bu yanlış karara bir hukuk davasında itiraz etme yeteneğini de zayıflatabilir.
Nevada Hukuk Hizmetleri’nde kıdemli avukat olan Elizabeth Carmona, “Gerçeklerle ilgili soruların yer aldığı davalarda, bölge mahkemesi kendi kararını temyiz hakeminin kararı yerine koyamaz” dedi, dolayısıyla bir hakem halüsinasyonlu bir gerçeğe dayanarak karar verirse, mahkeme bu kararı bozamayabilir.
Yale Üniversitesi’nde doktora öğrencisi ve hukuk araştırmalarında AI sistemlerinde doğruluk üzerine çalışmanın ortak yazarı olan Matthew Dahl, üretken bir AI modelinin daha sonra bir insan tarafından incelenip düzenlenen öneriler yayınladığı bir sistemde, eyalet yetkililerinin veya bir mahkemenin bir hatanın nereden ve neden kaynaklandığını belirlemesinin zor olabileceğini söyledi. “Bu modeller o kadar karmaşık ki, belirli bir zamandaki karar alma süreçlerinin anlık görüntüsünü almak ve daha sonra sorgulamak kolay değil.”
Daha Fazla Hıza İhtiyaç Var
Çoğu eyalette olduğu gibi, Nevada’nın işsizlik sistemi de pandemi sırasında benzeri görülmemiş sayıda taleple boğuştu. Eyalet kapanma emirlerinin ardından, işletmeler çalışanlarını evlerine gönderdi ve aylarca veya tamamen kapılarını kapattı. Kongre, işsizlik yardımlarına hak kazanan çalışanların sayısını ve türlerini artıran tamamen yeni bir yardım programı olan Pandemi İşsizlik Yardımı’nı (PUA) oluşturdu.
Devlet kurumları talep akışına ve yeni PUA kurallarına uyum sağlamakta zorlanırken, vakalar birikti ve insanlar hatalar yaptı. Talep sahipleri formları yanlış doldurdu veya yanlış işsizlik programlarına başvurdu, eyaletler yardımları yanlış miktarlar ve aslında uygun olmayan çalışanlara. Ve bu hataların temyiz duruşmalarında çözülmesi ne kadar uzun sürerse, işsiz çalışanların temel ihtiyaçlarını karşılayamaması veya evlerinin, arabalarının ve kredi kartlarının ödemelerini yapamaması olasılığı o kadar arttı.
Nisan 2020’de Nevada, iş gücünün yüzde 30’unun işsiz olduğunu tahmin ediyordu. en yüksek oran herhangi bir eyalet tarafından kaydedilen. Sewell, 2023’te Nevada’nın işsizlik ajansını devraldığında, 40.000’den fazla itiraz davasının birikmiş olduğunu ve o zamandan beri 5.000’in altına düşürüldüğünü söyledi.
Colorado’da ve ABD Çalışma Bakanlığı’nda işsizlik modernizasyon çalışmalarını denetleyen Amy Perez, doğru şekilde yapılırsa yapay zeka otomasyonunun pandemi sırasında işsiz Nevadalıların hayatlarını değiştiren gecikmelere neden olan sorunların bazılarını çözebileceğini söyledi.
Eyaletin yeni sisteminin kayda değer bir ileri adım olduğunu ve davacılara daha hızlı ödeme yapılırsa, DETR’nin halüsinasyonlara karşı sistemi izleme konusunda dikkatli olması durumunda ve insan hakemlerin davaları kapsamlı bir şekilde inceleyebilmeleri için gerekli zamana ve desteğe sahip olması durumunda faydalı olabileceğini söyledi.
Perez, “İnsanlar ve yapay zeka ile kabul etmeye istekli olmamız gereken bir risk seviyesi var,” dedi. “Bu araçları yalnızca bir insan kadar iyi veya ondan daha iyi olduğunu belirlediğimizde üretime koymalıyız.”