Bir yapay zeka Pittsburgh’daki bir çocuk koruma hizmetleri dairesi tarafından kullanılan araç, ailelere karşı ırk ayrımcılığı yaptığı iddiasıyla inceleme altında. Associated Press İlk olarak, çocuk refahı sisteminde kullanılan yapay zeka algoritmalarının neden olduğu şeffaflık sorunlarını ve potansiyel önyargıyı ortaya çıkaran bir soruşturmanın ardından endişeleri bildirdi.
Pittsburgh merkezli çocuk esirgeme kurumu, aşırı iş yükü olan sosyal hizmet uzmanlarının, o ailenin risk düzeyine göre hangi ailelerin araştırılması gerektiğini daha iyi belirlemesine yardımcı olan Allegheny Aile Tarama Aracını kullanıyor. bu AP bulgularını ilk olarak geçen yılın Nisan ayında açıklayarak, AI sisteminin beyaz çocuklara kıyasla ezici sayıda Siyah çocuğu “zorunlu” bir ihmal soruşturması için işaretleme modelinin olduğu ırksal eşitsizlikleri genişletme potansiyeline sahip olduğunu söyledi.
Carnegie Mellon Üniversitesi tarafından yürütülen araştırma, sosyal hizmet uzmanlarının zamanın yaklaşık üçte birinin yapay zekanın algoritması tarafından belirlenen risk puanlarına katılmadığını, ancak bölge yetkililerinin kuruluşa araştırmanın “varsayımsal” olduğunu ve sosyal hizmet uzmanlarının aracı geçersiz kılabileceğini söylediğini ortaya çıkardı. AP bildirdi.
Alleghany İlçesi İnsan Hizmetleri Departmanı müdürü Erin Dalton AP’ye şunları söyledi: “Her kim olurlarsa olsunlar, işçilerden belirli bir yılda inanılmaz derecede kusurlu bilgilerle bu türden 14, 15, 16.000 karar vermeleri istenmemeli.”
ABD Adalet Bakanlığı ve diğer eleştirmenler, AI aracını kullanarak toplanan verilerin düşük gelirli ailelere karşı ırk, gelir, engellilik ve diğer özelliklere dayalı ayrımcılığı uygulayabileceği konusundaki endişelerini dile getirdi.
G/O Media komisyon alabilir
Bilgiler, ailenin madde bağımlılığı ve akıl sağlığı sorunları geçmişi olup olmadığı da dahil olmak üzere kişisel verilere dayalı olarak derlenir., hapis yatmış, denetimli serbestlik kaydı ve diğer devlet tarafından verilmiş verilere sahip. Sosyal hizmet uzmanları daha sonra hangi ailelerin ihmal nedeniyle soruşturulması gerektiğini belirlemek için Alleghany’nin AI aracı tarafından oluşturulan bilgileri toplayabilir.
AP’ye göre sistem, ailenin refah yardımlarını kaybedip kaybetmediğini belirleyemez, ancak çocukların evden çıkarılmasına, koruyucu aileye yerleştirilmesine ve potansiyel olarak ebeveyn haklarının feshedilmesine yol açabilir.
AP’nin soruşturmasının ardından Oregon, ırksal eşitlik endişeleri nedeniyle çocuk refahı sisteminde AI tarafından üretilen algoritmaların kullanımını keseceğine karar verdi. Oregon’un İnsan Hizmetleri Departmanı, algoritmanın ırksal eşitsizlikler kullandığına dair endişeler üzerine geçen yılın Haziran ayında personele gönderilen bir e-postadaki değişikliği duyurdu.
Ajansın müdür yardımcısı Lacey Andresen, aldığı bir e-postada şunları söyledi: Nepal RupisiBir departman sözcüsü, satış noktasına algoritmanın “artık gerekli olmayacağını” ancak politika değişikliği hakkında ek bilgi sağlamayacağını söyledi.
Senatör Ron Wyden (D-Oregon) yaptığı açıklamada konu çocuk koruma hizmetleri olduğunda algoritmaya güvenilmemesi gerektiğini söyledi. Wyden, “Çocuklara ve ailelere ne olması gerektiğine dair kararlar vermek, test edilmemiş algoritmalar vermek için çok önemli bir görevdir” dedi. “Oregon İnsani Hizmetler Departmanının ırksal önyargıyla ilgili dile getirdiğim endişeleri ciddiye almasına ve tarama aracının kullanımını durdurmasına sevindim.”