Salı günü, BBC Uber Eats siyahi kuryesi Pa Edrissa Manjang’ın, Kasım 2019’dan bu yana Uber’de yemek teslimatı yapan işleri almak için kullandığı “ırksal ayrımcı” yüz tanıma kontrollerinin uygulamaya erişimini engellemesinin ardından Uber’den ödeme aldığını bildirdi. platformu.
Haber, Birleşik Krallık yasalarının yapay zeka sistemlerinin artan kullanımıyla başa çıkmada ne kadar uygun olduğuna dair soruları gündeme getiriyor. Özellikle, kullanıcı güvenliğini ve/veya hizmet verimliliğini artırma vaadiyle piyasaya sürülen otomatik sistemlerle ilgili şeffaflık eksikliği, yapay zeka kaynaklı önyargıdan etkilenenler için tazminat elde etmenin uzun sürebileceği halde, bireysel zararların yıldırım hızıyla ölçeklenmesi riskini doğurabilir. yıllar.
Dava, Uber’in Birleşik Krallık’ta Gerçek Zamanlı Kimlik Kontrolü sistemini uygulamaya koymasından bu yana yüz tanıma kontrollerinin başarısız olduğu yönündeki bir dizi şikayetin ardından geldi. Nisan 2020. Uber’in Microsoft’un yüz tanıma teknolojisini temel alan yüz tanıma sistemi, hesap sahibinin kimliğini doğrulamak için dosyada bulunan bir fotoğrafla karşılaştırılarak kontrol edilen canlı bir selfie göndermesini gerektiriyor.
Başarısız kimlik kontrolleri
Manjang’ın şikayeti uyarınca Uber, başarısız bir kimlik kontrolü ve ardından gelen otomatik süreç sonrasında, platforma erişmek amacıyla çektiği yüz fotoğraflarında “devam eden uyumsuzluklar” bulduğunu iddia ederek hesabını askıya aldı ve ardından sonlandırdı. Manjang, Eşitlik ve İnsan Hakları Komisyonu (EHRC) ve Uygulama Sürücüleri ve Kuryeler Birliği (ADCU) tarafından desteklenen Ekim 2021’de Uber’e karşı yasal taleplerde bulundu.
Bunu yıllarca süren dava izledi; Uber, Manjang’ın iddiasını reddetemedi veya davanın devamı için bir depozito talebinde bulunulamadı. Bu taktiğin davanın uzamasına katkıda bulunduğu görülüyor. EHRC vakanın 2023 sonbaharında hâlâ “ön aşamalarda” olduğunu belirtiyor ve vakanın “yapay zeka teknolojisiyle ilgili bir iddianın karmaşıklığını” gösterdiğini belirtiyor. Son duruşmanın Kasım 2024’te 17 gün sürmesi planlanmıştı.
Bu duruşma, Uber’in uzlaşma için bir ödeme teklif etmesinden (ve Manjang’ın kabul etmesinden) sonra gerçekleşmeyecek; bu, tam olarak neyin yanlış gittiğine ve neden kamuya açıklanmayacağına dair daha ayrıntılı ayrıntılar anlamına geliyor. Mali anlaşmanın şartları da açıklanmadı. Uber, sorduğumuzda ayrıntı vermedi ve tam olarak neyin yanlış gittiğine dair yorum da yapmadı.
Davanın sonucuna yanıt vermek için Microsoft’la da iletişime geçtik ancak şirket yorum yapmayı reddetti.
Manjang ile anlaşmaya varılmasına rağmen Uber, kendi sistemlerinin veya süreçlerinin hatalı olduğunu kamuya açık bir şekilde kabul etmiyor. Anlaşmaya ilişkin açıklaması, yüz tanıma kontrollerinin “sağlam insan incelemesi” ile durdurulduğunu iddia ederek, kurye hesaplarının yalnızca yapay zeka değerlendirmeleri sonucunda sonlandırılabileceğini reddediyor.
Şirket yaptığı açıklamada, “Gerçek Zamanlı Kimlik kontrolümüz, uygulamamızı kullanan herkesi güvende tutmaya yardımcı olmak için tasarlandı ve birisinin geçimine ilişkin kararları bir boşlukta, gözetim olmadan vermediğimizden emin olmak için güçlü bir insan incelemesi içeriyor” dedi. . “Bay Manjang’ın kurye hesabına erişimini geçici olarak kaybetmesinin nedeni otomatik yüz doğrulaması değildi.”
Ancak Manjang’ın vakasında Uber’in kimlik kontrollerinde bir şeylerin ters gittiği açıktı.
İşçi Bilgi Alışverişi Manjang’ın şikayetini de destekleyen platform çalışanlarının dijital haklarını savunan bir kuruluş olan (WIE), Birleşik Krallık veri koruma yasası kapsamındaki Konu Erişim Talebi aracılığıyla tüm özçekimlerini Uber’den almayı başardı ve gönderdiği tüm fotoğrafların Yüz tanıma kontrolünün yanında gerçekten de kendisinin fotoğrafları vardı.
“İşten çıkarılmasının ardından Pa, sorunu düzeltmek için Uber’e çok sayıda mesaj gönderdi, özellikle de bir kişinin gönderimlerini incelemesini istedi. WIE, davasını tartışırken Pa’ya her defasında ‘sağlanan fotoğrafların gerçekten size ait olduğunu doğrulayamadık ve devam eden uyumsuzluklar nedeniyle sizinle ortaklığımızı sona erdirme konusunda nihai kararı verdik’ dendiğini anlatıyor” dedi. daha geniş rapor “Ekonomide veriye dayalı sömürüye” bakmak.
Manjang’ın kamuya açıklanan şikayetinin ayrıntılarına göre, hem Uber’in yüz tanıma kontrollerinin hem de Ve Otomatik kararlar için iddia edilen bir güvenlik ağı olarak kurduğu insan incelemesi sistemi bu davada başarısız oldu.
Eşitlik yasası artı veri koruması
Bu dava, yapay zekanın kullanımını yönetme konusunda Birleşik Krallık yasalarının amaca ne kadar uygun olduğu sorusunu gündeme getiriyor.
Manjang nihayet Uber’den eşitlik yasasına dayalı bir yasal süreç aracılığıyla bir çözüm elde edebildi; özellikle de ırkı korunan bir özellik olarak listeleyen Birleşik Krallık’ın 2006 Eşitlik Yasası kapsamındaki bir ayrımcılık iddiası.
EHRC başkanı Barones Kishwer Falkner, bir beyanında Uber Eats kuryesinin “çalışmasını etkileyen şeffaf olmayan süreçleri anlamak için” yasal bir talepte bulunmak zorunda kalmasını eleştirdi.
“Yapay zeka karmaşıktır ve işverenler, avukatlar ve düzenleyiciler için benzersiz zorluklar sunar. Yapay zeka kullanımı arttıkça teknolojinin ayrımcılığa ve insan hakları ihlallerine yol açabileceğini anlamak önemli” dedi. yazdı. “Bay Manjang’a, hesabının devre dışı bırakılma sürecinde olduğunun bildirilmemesinden veya teknolojiye meydan okumak için açık ve etkili bir yol sağlanmamasından özellikle endişe duyuyoruz. İşverenlerin yapay zekayı ne zaman ve nasıl kullanacakları konusunda işgücüne karşı şeffaf ve açık olmalarını sağlamak için daha fazla şey yapılması gerekiyor.”
Birleşik Krallık veri koruma kanunu buradaki diğer ilgili mevzuattır. Kağıt üzerinde, opak yapay zeka süreçlerine karşı güçlü koruma sağlaması gerekiyor.
Manjang’ın iddiasıyla ilgili selfie verileri, Birleşik Krallık GDPR’sinde yer alan veri erişim hakları kullanılarak elde edildi. Uber’in kimlik kontrollerinin başarısız olduğuna dair bu kadar net bir kanıt elde edemeseydi, şirket anlaşmayı hiç tercih etmeyebilirdi. Bireylerin ilgili kişisel verilere erişmesine izin vermeden, özel bir sistemin kusurlu olduğunu kanıtlamak, olasılıkları daha zengin kaynaklı platformlar lehine daha da artıracaktır.
Uygulama boşlukları
Veri erişim haklarının ötesinde, Birleşik Krallık GDPR’sindeki yetkilerin, bireylere, yasal veya benzer şekilde önemli etkiye sahip otomatik kararlara karşı ek korumalar sağlaması beklenmektedir. Kanun aynı zamanda kişisel verilerin işlenmesi için yasal bir temel talep etmekte ve sistem dağıtıcılarını veri koruma etki değerlendirmesi yaparak olası zararları değerlendirmede proaktif olmaya teşvik etmektedir. Bu, zararlı yapay zeka sistemlerine karşı daha fazla kontrol yapılmasını zorunlu kılacaktır.
Bununla birlikte, bu korumaların etkili olması için, önyargılı yapay zekaların kullanıma sunulmasına karşı caydırıcı bir etki de dahil olmak üzere, yaptırımlara ihtiyaç vardır.
Birleşik Krallık vakasında, ilgili uygulayıcı olan Bilgi Komiserliği Ofisi (ICO), 2021’den bu yana yanlış yanıt veren kimlik kontrolleriyle ilgili şikayetlere rağmen, Uber’e yönelik şikayetleri soruşturmak konusunda başarısız oldu.
Mishcon de Reya hukuk firmasında kıdemli veri koruma uzmanı Jon Baines, ICO’nun “uygun uygulama eksikliğinin” bireylere yönelik yasal korumaları baltaladığını öne sürüyor.
TechCrunch’a şunları söylüyor: “Mevcut yasal ve düzenleyici çerçevelerin yapay zeka sistemlerinin neden olduğu bazı potansiyel zararlarla başa çıkamayacağını varsaymamalıyız.” “Bu örnekte, Bilgi Komiseri’nin hem bireysel vakada hem de daha geniş anlamda, gerçekleştirilen işlemenin Birleşik Krallık GDPR’si kapsamında yasal olup olmadığını değerlendirme yetkisine sahip olması beni çok etkiledi.
“Şunun gibi şeyler – işleme adil mi? Yasal bir dayanak var mı? 9. madde şartı var mı (özel nitelikli kişisel veri işleniyor olması kaydıyla)? Ancak aynı zamanda ve en önemlisi, doğrulama uygulamasının uygulanmasından önce sağlam bir Veri Koruma Etki Değerlendirmesi mevcut muydu?”
Düzenleyicinin müdahale eksikliğini sorgulayarak, “Yani evet, ICO kesinlikle daha proaktif olmalı” diye ekliyor.
Manjang’ın davasıyla ilgili olarak ICO ile temasa geçtik ve şikayetler ışığında Uber’in kimlik kontrolleri için yapay zeka kullanımını araştırıp incelemediğini teyit etmesini istedik. Gözlemcinin bir sözcüsü sorularımıza doğrudan yanıt vermedi ancak kuruluşların “biyometrik teknolojiyi insanların haklarına müdahale etmeyecek şekilde nasıl kullanacaklarını bilmeleri” gerektiğini vurgulayan genel bir açıklama gönderdi.
“En son durumumuz biyometrik rehberlik Kuruluşların, kişileri doğru bir şekilde tanımlayan hatalar ve sistem içindeki önyargılar gibi biyometrik verileri kullanmanın getirdiği riskleri azaltması gerektiği açıktır” ifadesine yer verildi ve şunu ekledi: “Verilerinin nasıl kullanıldığı konusunda endişesi olan biri varsa, bunu rapor edebilir.” Bu endişeler ICO’yu ilgilendiriyor.”
Bu arada hükümet, Brexit sonrası bir veri reformu tasarısı aracılığıyla veri koruma yasasını sulandırma sürecinde.
Buna ek olarak hükümet, başbakan Rishi Sunak’ın yapay zeka güvenliğinin kendi yönetimi için öncelikli bir alan olduğu konusunda dikkat çekici iddialarda bulunmasına rağmen, bu yılın başında özel yapay zeka güvenliği yasasını çıkarmayacağını da doğruladı.
Bunun yerine, yapay zeka ile ilgili Mart 2023 teknik incelemesinde ortaya konan ve kendi yamalarında ortaya çıkabilecek yapay zeka risklerini kapsayacak şekilde gözetim faaliyetini genişleten mevcut yasalara ve düzenleyici kurumlara güvenmeyi planladığı bir öneriyi onayladı. Şubat ayında duyurduğu yaklaşımda yapılan bir değişiklik, düzenleyiciler için hükümetin yapay zeka risklerini araştırmak ve yapay zeka sistemlerini incelemelerine yardımcı olacak araçlar geliştirmek için kullanılabileceğini öne sürdüğü küçük miktardaki ekstra fon (10 milyon £) oldu.
Bu küçük ekstra fon miktarının ödenmesi için herhangi bir zaman çizelgesi sağlanmadı. Burada birden fazla düzenleyici kurum yer alıyor; dolayısıyla, ICO, EHRC ve İlaç ve Sağlık Ürünleri Düzenleme Kurumu gibi kurumlar arasında eşit bir nakit paylaşımı varsa, 13 düzenleyici ve departmandan sadece üçünü sayarsak, İngiltere dışişleri bakanı geçen ay şunu yazdı: Onlardan “Yapay Zekaya Stratejik Yaklaşımları” hakkında bir güncelleme yayınlamaları istendiğinde, hızlı ölçeklenen yapay zeka riskleriyle başa çıkmak için bütçeleri artırmak amacıyla her biri 1 milyon £’dan az para alabilecek.
Açıkçası, eğer yapay zeka güvenliği aslında bir hükümet önceliği ise, zaten aşırı zorlanmış olan düzenleyiciler için inanılmaz derecede düşük düzeyde bir ek kaynak gibi görünüyor. Bu aynı zamanda, hükümetin yaklaşımını eleştirenlerin daha önce de belirttiği gibi, Birleşik Krallık’ın mevcut düzenleyici yama yapısının çatlakları arasında yer alan yapay zeka zararları için hala sıfır nakit veya aktif gözetim olduğu anlamına geliyor.
Yeni bir Yapay Zeka güvenlik yasası, AB’nin blok tarafından katı yasa olarak kabul edilmeye doğru hızla ilerleyen risk temelli Yapay Zeka zararları çerçevesine benzer şekilde daha güçlü bir öncelik sinyali gönderebilir. Ancak bunu fiilen uygulayacak bir iradenin de olması gerekir. Ve bu sinyal yukarıdan gelmeli.
