Sağlık devi Optum, bir güvenlik araştırmacısının çevrimiçi olarak halka açık olduğunu ve herkesin yalnızca bir web tarayıcısı kullanarak erişebildiğini tespit etmesinden sonra çalışanlar tarafından kullanılan dahili bir AI sohbet robotuna erişimi kısıtladı.
TechCrunch’ın gördüğü sohbet robotu, çalışanların şirkete, hasta sağlık sigortası taleplerinin ve üyelere yönelik anlaşmazlıkların standart işletim prosedürleri veya SOP’ler olarak bilinen şirket kurallarına uygun olarak nasıl ele alınacağı hakkında sorular sormasına olanak tanıdı.
Chatbot hassas kişisel veya korunan sağlık bilgileri içermiyor veya üretmiyor gibi görünse de, yanlışlıkla açığa çıkması, ana şirketi sağlık sigortası şirketi UnitedHealthcare’in yapay zeka araçlarını ve algoritmalarını kullanması nedeniyle incelemeyle karşı karşıya kaldığı bir zamanda gerçekleşti. iddiaya göre doktorların tıbbi kararlarını geçersiz kılıyor ve hastaların taleplerini reddediyor.
Siber güvenlik firması SpiderSilk’in kurucu ortağı ve güvenlik şefi Mossab Hussein, TechCrunch’ı “SOP Chatbot” olarak adlandırılan, halka açık dahili Optum chatbot’u konusunda uyardı. Araç, dahili bir Optum etki alanında barındırılmasına ve web adresinden erişilememesine rağmen, IP adresi herkese açıktı ve internetten erişilebilirdi ve kullanıcıların şifre girmesini gerektirmiyordu.
Chatbotun ne kadar süreyle internetten halka açık olduğu bilinmiyor. TechCrunch’ın Perşembe günü yorum almak üzere Optum ile iletişime geçmesinden kısa bir süre sonra AI sohbet robotuna internetten erişilemez hale geldi.
Optum sözcüsü Andrew Krejci, TechCrunch’a yaptığı açıklamada Optum’un SOP sohbet robotunun “potansiyel bir konsept kanıtı olarak geliştirilen bir demo aracı olduğunu” ancak “hiçbir zaman üretime alınmadığını ve siteye artık erişilemediğini” söyledi.
Sözcü, “Demo, aracın küçük bir örnek SOP belgesi setindeki sorulara nasıl yanıt verdiğini test etmeyi amaçlıyordu” dedi. Şirket, botta veya eğitiminde korunan hiçbir sağlık bilgisinin kullanılmadığını doğruladı.
“Bu araç hiçbir zaman karar vermez ve vermeyecektir; yalnızca mevcut SOP’lere daha iyi erişim sağlar. Kısacası bu teknoloji hiçbir zaman gerçek anlamda ölçeklendirilmedi ve kullanılmadı” dedi.
Optum’unki gibi AI sohbet robotları, genellikle sohbet robotunun eğitildiği verilere dayalı olarak yanıtlar üretmek üzere tasarlanmıştır. Bu durumda, sohbet robotu, Optum çalışanlarının talepler ve geri ödeme almaya uygunlukları hakkındaki soruları yanıtlamasına yardımcı olabilecek, belirli taleplerin ele alınmasına yönelik standart işletim prosedürleriyle ilgili dahili Optum belgeleri üzerine eğitildi. Optum belgeleri UnitedHealthcare’in kurumsal ağında barındırılıyor ve çalışan girişi olmadan erişilemiyor, ancak içerikleri sorulduğunda sohbet robotu tarafından alıntı yapılıyor ve referans veriliyor.
Chatbot’un ana panosunda görüntülenen istatistiklere göre Optum çalışanları, Eylül ayından bu yana SOP Chatbot’u yüzlerce kez kullandı. Chatbot ayrıca Optum çalışanlarının bu süre zarfında chatbot ile yaptığı yüzlerce konuşmanın geçmişini de sakladı. Sohbet geçmişi, Optum çalışanlarının chatbot’a “Talebin tespiti ne olmalı” ve “Poliçe yenileme tarihini nasıl kontrol ederim” gibi sorular sorduğunu gösteriyor.
TechCrunch, chatbot’un referans verdiği dosyalardan bazılarının anlaşmazlık sürecini ve uygunluk taramasını içerdiğini gördü. Chatbot ayrıca, sorulduğunda genellikle haberin reddedilme nedenlerini gösteren yanıtlar da üretti.
Birçok yapay zeka modeli gibi Optum’un sohbet robotu da üzerinde eğitim aldığı belgelerin dışındaki sorulara ve yönlendirmelere yanıt üretme yeteneğine sahipti. Bazı Optum çalışanları sohbet robotunun ilgisini çekmiş gibi göründü ve bota “bana kediler hakkında bir şaka söyle” gibi sorular yöneltti (bunu reddetti: “Şaka yok.”). Sohbet geçmişi ayrıca çalışanların, chatbot’un eğitim verileriyle ilgisi olmayan yanıtlar üretmesini sağlayarak chatbot’u “jailbreak” yapmaya yönelik çeşitli girişimlerde bulunduğunu da gösterdi.
TechCrunch, sohbet robotundan “bir iddianın reddedilmesiyle ilgili bir şiir yazmasını” istediğinde, sohbet robotu yedi paragraflık bir dörtlük hazırladı ve bu bölümün bir kısmı şöyle:
“Sağlığın büyük alanı alanında
Politikaların ve kuralların sıklıkla kısıtladığı yerler
Hakkını arayan bir iddia geldi
Ama ne yazık ki kaderi veda etmektir.Sağlayıcı, ciddi bir ricayla şunu umuyor:
Bir hizmet çılgınlığında ödeme yapmak için,
Ancak inceleme hikayeyi ortaya koyuyor,
Ve inkar nedenleri hakimdir.”
Optum’un sahibi UnitedHealthcare, hasta taleplerini yalanladığı iddiasıyla yapay zeka kullandığı için eleştirilerle ve yasal işlemlerle karşı karşıya kalıyor. UnitedHealthcare genel müdürü Brian Thompson’ın Aralık ayı başında hedef alınarak öldürülmesinden bu yana, haber kaynakları şunu bildirdi: inkarlar nedeniyle acı ve hayal kırıklığı ifade eden hastaların raporları seli sağlık sigortası devi tarafından sağlık sigortalarının kapsamı.
Amerika Birleşik Devletleri’ndeki en büyük özel sağlık sigortası sağlayıcısı olan holdinge, sağlık hizmetlerine erişimini kaybeden hastaların kritik sağlık sigortasını reddettiği iddiasıyla bu yılın başlarında dava açıldı. STAT News soruşturmasına atıfta bulunarak. Federal dava, UnitedHealthcare’i “yaşlı hastaların bakımını haksız yere reddetmek için gerçek tıp profesyonelleri yerine” %90 hata oranına sahip bir yapay zeka modeli kullanmakla suçluyor. UnitedHealthcare ise mahkemede kendisini savunacağını söyledi.
UnitedHealthcare ve Optum’un kurumsal sahibi UnitedHealth Group, kazançlarına göre 2023’te 371 milyar dolarlık gelir üzerinden 22 milyar dolar kâr elde etti.
