Biri San Francisco’da, diğeri Houston’da iki baba, tıbbi amaçlarla oğullarının cinsel organlarının fotoğraflarını çekmek için Android telefonları (Google’a ait) kullandıktan sonra çocuk istismarı ve sömürü şüphesiyle polis tarafından ayrı ayrı soruşturuldu. Her iki durumda da polis, ebeveynlerin hiçbir suç işlemediğini belirlemesine rağmen, bir rapora göre Google, hesaplarını tüm platformlarında kalıcı olarak devre dışı bırakarak aynı sonuca varmadı. The New York Times’tan.
Olaylar, otomatik fotoğraf tarama ve raporlama teknolojisinde nelerin yanlış gidebileceğini vurguluyor ve teknoloji şirketleri buna güvenmeye başladıklarında içine girdikleri zorlu bölge. Bağlam olmadan, masum bir görüntüyü kötüye kullanımdan ayırt etmek, insan izleyicilerin katılımıyla bile neredeyse imkansız olabilir.
Google, beğen Birçok şirket ve çevrimiçi platformlar, Microsoft’un FotoDNA— kötüye kullanım fotoğraflarını doğru bir şekilde ortaya çıkarmak için tasarlanmış bir algoritmik tarama aracı. Şirketin açıklamasına göre kendi kendine bildirilen verilertanımladı Yalnızca 2021’in ilk altı ayında 287.368 şüpheli kötüye kullanım vakası. Google’a göre, bunlar olay raporlar gelmek bunlarla sınırlı olmamak üzere birden fazla kaynaktan en otomatik PhotoDNA aracı. “Google genelinde ekiplerimiz, sektör lideri otomatik algılama araçları ve özel eğitimli incelemecilerin bir kombinasyonunu kullanarak bu içeriği belirlemek, kaldırmak ve raporlamak için gece gündüz çalışıyor. Ayrıca, devam eden çalışmalarımızı tamamlayan üçüncü taraflardan ve kullanıcılarımızdan raporlar alıyoruz,” Google’ın web sitesinde bir açıklama okur.
Liberter Electronic Frontier Foundation gibi bazı gizlilik savunucuları sesli olarak bu tür genişlemeye karşı tarama teknolojiler. Yine de çocukların cinsel istismarı ve sömürüsü (haklı olarak) mahremiyeti her şeyden önce savunmak için özellikle zor bir konudur.
Açıkça görünen şey, hiçbir otomatik tarama sisteminin mükemmel olmadığı, yanlış raporların ve kötüye kullanım tespitlerinin kaçınılmaz olduğu ve şirketlerin muhtemelen bunlarla başa çıkmak için daha iyi bir mekanizmaya ihtiyacı olduğu.
Ne oldu?
Times’a göre, San Francisco davasında, Mark (soyadı gizli tutuldu), oğlunun bölgede ağrı çektiğini fark ettikten sonra, şişmeyi belgelemek için yürümeye başlayan çocuğun kasıklarının fotoğraflarını çekti. Ardından, karısı ertesi sabah için bir doktorla acil görüntülü konsültasyon planladı. Şubat 2021’di ve pandeminin bu aşamasında, kesinlikle gerekli olmadıkça şahsen bir tıbbi muayenehaneye gitmek genellikle tavsiye edilmezdi.
Planlama hemşiresi, doktorun önceden gözden geçirebilmesi için fotoğrafların önceden gönderilmesini istedi. Mark’ın karısı, kocasının telefonundaki fotoğrafları kendisine mesaj attı ve ardından onları cihazından tıbbi sağlayıcının mesaj sistemine yükledi. Doktor antibiyotik reçete etti ve yürümeye başlayan çocuğun durumu düzeldi.
Ancak, oğlunun fotoğraflarını ilk çektikten iki gün sonra Mark, hesabının “Google’ın politikalarını ciddi şekilde ihlal eden ve yasa dışı olabilecek” “zararlı içerik” nedeniyle devre dışı bırakıldığına dair bir bildirim aldı. Karara itiraz etti, ancak reddedildi.
Eşzamanlı olarak, Mark henüz bilmiyor olsa da, Google fotoğrafları Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi SiberTipline’a bildirdi ve bu da raporu kolluk kuvvetlerine iletti. On ay sonra Mark, San Francisco Polis Departmanından, fotoğraflara ve Google’dan gelen bir rapora dayanarak onu araştırdıklarına dair bir bildirim aldı. Polis, Google’a, şirkette saklanan mesajlar, fotoğraflar ve videolar, internet aramaları ve konum verileri de dahil olmak üzere Mark’ın hesabındaki her şeyi talep eden arama emri çıkarmıştı.
Müfettişler hiçbir suçun işlenmediği sonucuna vardılar ve Mark suç olduğunu öğrendiğinde kapandı. Polis raporunu tekrar Google’a başvurmak ve hesabını geri almak için kullanmaya çalıştı, ancak talebi yine reddedildi.
Sonuçlar nelerdi?
Küçük bir rahatsızlık gibi görünse de, çocuk istismarı olasılığıyla karşılaştırıldığında, Mark’ın Google hesabını kaybetmesinin büyük bir güçlük olduğu bildirildi. Times’dan:
E-postalarını, arkadaşlarının ve eski iş arkadaşlarının iletişim bilgilerini ve oğlunun ilk yıllarına ait belgeleri kaybetmekle kalmadı, Google Fi hesabı da kapandı, yani başka bir operatörden yeni bir telefon numarası almak zorunda kaldı. Eski telefon numarasına ve e-posta adresine erişimi olmadan, diğer internet hesaplarında oturum açmak için ihtiyaç duyduğu güvenlik kodlarını alamadı ve onu dijital hayatının çoğundan mahrum etti.
“Bir sepette ne kadar çok yumurta varsa, sepetin kırılma olasılığı o kadar yüksek” dedi.
Times tarafından bildirilen çok benzer Houston, Texas vakasında, başka bir baba fotoğraf çekmek istedi Bir enfeksiyonu teşhis etmek için bir çocuk doktoru tarafından oğlunun “intimal kısımları”. Bu resimler otomatik olarak Google Fotoğraflar’a yedeklendi (not: otomatik bulut depolama her zaman değil iyi bir fikir) ve babadan karısına Google messenger aracılığıyla gönderildi. Çift o sırada yeni bir ev satın almanın ortasındaydı ve resimler sonuçta babanın e-posta adresinin devre dışı kalmasına neden olduğu için ek komplikasyonlarla karşı karşıya kaldılar.”
E-postayla gönderilen bir açıklamada, bir Google sözcüsü Gizmodo’ya şunları söyledi:
Çocuk cinsel istismarı materyali (CSAM) iğrençtir ve bunun platformlarımızda yayılmasını önlemeye kararlıyız. CSAM’i neyin oluşturduğunu tanımlarken ABD yasalarına uyuyoruz ve onu tanımlamak ve platformlarımızdan kaldırmak için karma eşleştirme teknolojisi ile yapay zekanın bir kombinasyonunu kullanıyoruz. Ayrıca, çocuk güvenliği uzmanlarından oluşan ekibimiz, işaretlenen içeriğin doğruluğunu inceler ve kullanıcıların tıbbi tavsiye isteyebileceği durumları belirleyebilmemize yardımcı olmak için çocuk doktorlarına danışır. Kullanıcılar herhangi bir karara itiraz etme hakkına sahiptir, ekibimiz her itirazı inceler ve bir hata yapılmışsa hesabı eski durumuna getiririz.
Bu iki durumda hatalar yapılmış gibi görünse de, açıkçası Google söz konusu hesapları eski durumuna getirmedi. Şirket, Gizmodo’nun takip eden sorularına hemen yanıt vermedi. Ve yansımalar muhtemelen silinen hesaplardan daha kötü olabilirdi.
John’s Üniversitesi’nde mahremiyete odaklanan avukat ve hukuk profesörü Kate Klonick, “bir görüntüyü paylaşan insanların davranışları veya onu çeken kişinin niyetleri gibi bir fotoğrafta görünmeyen şeyleri hesaba katmak” zor. , NYT’ye söyledi. Klonick, “Bu sadece bir içerik denetimi ve sansür vakası olsaydı sorunlu olurdu” diye ekledi. “Fakat bu, birinin kolluk kuvvetlerine rapor edilmesiyle sonuçlanması bakımından iki kat tehlikelidir.”
Ve bazı şirketler, otomatik tarama araçlarının oluşturduğu karmaşıklığın ve olası tehlikenin çok iyi farkında görünüyor. Apple planlarını açıkladı kendi CSAM’ı tarama sistemi 2021’de geri döndü. Ancak, sonra güvenlik uzmanlarından tepki, şirket gecikti görünüşe göre daha önce planları onları hurdaya çıkarmak Baştan sona.