Nightshade adlı yeni bir görüntü veri aracı, bilgisayar bilimi araştırmacıları tarafından metinden görüntüye modellere yönelik verileri “zehirlemek” için oluşturuldu. Nightshade, içerik oluşturucuların çevrimiçi olarak yüklenecek görsellerine fark edilemeyecek değişiklikler ekler. Bir veri kazıyıcı daha sonra bu değiştirilmiş görüntülerden birini veri kümesine eklerse, modele “beklenmeyen davranışlar sokacak” ve onu zehirleyecektir.
adlı bir makalenin önizlemesi Metinden Görüntüye Üretken Modellere Yönelik İsteme Özel Zehirlenme Saldırıları yakın zamanda arXiv’de Nightshade’in kapsamı ve işlevselliğinin ana hatlarıyla yayınlandı. MIT Teknoloji İncelemesi projenin arkasındaki ekiple yapılan görüşmelerden biraz daha bilgi elde etti.
Yapay zeka modellerinin, yaratıcının açık izni olmaksızın veriler üzerinde eğitilmesi ve ardından öğrendiklerine dayanarak ‘yeni veriler üretmesi’ konusu, son aylarda haberlerde iyice yer aldı. Herkes için ücretsiz bir veri kazıma ve ardından çok az atıfla veya hiç atıf yapılmadan makine yetersizliği gibi görünen bu durum, birçok disiplinden yaratıcıların mevcut üretken yapay zeka projelerine kaşlarını çatmasına neden oldu.
Nightshade, görsel sanatçılara yardımcı olmayı veya en azından yapay zeka veri kazıyıcılarını ister istemez veri toplama konusunda daha ihtiyatlı hale getirmeyi amaçlıyor. Araç, görüntü verilerini izleyicilere zarar vermeden zehirleme kapasitesine sahip ancak DALL-E, Midjourney ve Stable Diffusion gibi üretken araçlar tarafından kullanılan yapay zeka modellerini bozacak.
Nightshade’in bazı veri zehirlenmesi etkileri şunları içerebilir: köpekler kediye dönüşüyor, arabalar ineğe dönüşüyor, kübizm animeye dönüşüyor, şapkalar tost makinesine dönüşüyor ve diğer kaoslar. Nightshade’in çalışırken aşındırıcı etkilerinin örnekleri için aşağıya bakın.
Resim 1 ile ilgili 3
Daha önce üretken bir yapay zekayı zehirlemenin, eğitim hattına gönderilen milyonlarca zehir örneğini gerektirebileceği düşünülüyordu. Ancak Nightshade’in “etki için optimize edilmiş… istem odaklı bir zehirlenme saldırısı” olduğu iddia ediliyor. Oldukça şaşırtıcı bir şekilde Nightshade yıkıcı işini 100’den az zehir örneğinde yapabiliyor. Üstelik araştırmacılar, Nightshade’in zehir etkilerinin ilgili kavramlara “sızdığını” ve birden fazla saldırının tek bir istemde bir araya getirilebileceğini söylüyor. Nihai sonuç, kullanıcı metni istemlerine dayalı olarak anlamlı görsellerin oluşturulmasını devre dışı bırakmaktır.
Araştırmacılar Nightshade gibi araçların gerekli özen gösterilmeden kullanılmasını istemiyorlar. Bunun yerine, “içerik oluşturucular için, kapsam dışında kalma/tarama yapma yönergelerini göz ardı eden web kazıyıcılara karşı son bir savunma olarak” tasarlanmıştır. Bunun gibi araçlar, Vahşi Batı dönemi yapay zeka veri kazıyıcılarına karşı caydırıcı olabilir. Şu anda bile, Stability AI ve OpenAI gibi amiral gemisi yapay zeka şirketleri, yalnızca kullanıcılar seçimden çıkmak için çemberlerin içinden geçtiğinde sanat eserlerini atlıyor. MIT Teknoloji İncelemesi‘nin raporu. Bazıları bunun yerine kullanıcıların katılımını takip etmenin yapay zeka şirketleri olması gerektiğini düşünüyor.
Nightshade araştırma ekibini yöneten Chicago Üniversitesi’nden profesör Ben Zhao da arkasında Sır, içerik oluşturucuların kişisel sanat tarzlarını maskeleyerek yapay zeka şirketleri tarafından kopyalanmasını ve taklit edilmesini önleyen bir araç. Açık kaynaklı bir proje olarak hazırlanan Nightshade’in ileriki bir tarihte Glaze’e entegre edilmesiyle yapay zeka veri zehirlenmesinin bir seçenek haline gelmesi söz konusu olabilir.