Meta, Pazartesi günü karmaşık bilgisayar görüşü görevlerini gerçekleştirebilen yeni bir yapay zeka (AI) modeli yayınladı. Segment Anything Model 2 (SAM 2) olarak adlandırılan bu model, geçen yıl piyasaya sürülen ve Instagram’ın Backdrop ve Cutouts araçlarına dahil edilen selefinin ardından geliyor. Modelin halefi artık gelişmiş yeteneklerle geliyor ve şirket, videolarda bile segment tanımlama ve izleme gerçekleştirebileceğini söyledi. Meta’nın büyük dil modellerinin (LLM) çoğu gibi, SAM 2 de açık kaynaklı bir AI modelidir.
Bir haber odasında postalamakMeta, öncelikle videolarda segment analizine odaklanan ve görüntü segmentasyon yeteneklerini geliştiren yeni AI modelini duyurdu. Başarılarını vurgulayarak selefMeta, yapay zeka modelinin Instagram’ın Arka Plan ve Kesitler özelliklerinde kullanıldığını, deniz bilimcilerinin ise bunu “sonar görüntülerini parçalara ayırmak ve mercan resiflerini analiz etmek, afet yardımları için uydu görüntülerini analiz etmek ve tıbbi alanda hücresel görüntüleri parçalara ayırmak ve cilt kanserini tespit etmeye yardımcı olmak” için kullandığını söyledi.
SAM 2, bir görüntü ve videoda nesne segmentasyonu yapabilir ve ayrıca gerçek zamanlı olarak bir videonun farklı karelerinde izleyebilir. Yapay zeka ayrıca nesnelerin hızlı hareket ettiği, görünümünün değiştiği veya diğer nesneler veya tamamen farklı bir sahne tarafından gizlendiği senaryolarda nesneleri izleyebilir ve segmentlere ayırabilir.
İstem tabanlı görsel segmentasyon için temel model, basit bir dönüştürücü mimari üzerine kurulmuştur. Videoları gerçek zamanlı olarak işlemesine olanak tanıyan bir akış belleğine sahiptir. Şirket ayrıca modelin SA-V veri kümesi olarak adlandırılan en büyük video segmentasyon veri kümesi üzerinde eğitildiğini iddia etti.
Meta, AI modelinin video düzenleme veya AI tabanlı video oluşturma sürecini kolaylaştırmaya yardımcı olabileceğini ve şirketin karma gerçeklik ekosisteminde yeni deneyimlere güç sağlayabileceğini söyledi. Şirket, videolardaki nesne izleme yeteneğinin ayrıca diğer bilgisayar görüş sistemlerini eğitmek için görsel verilerin daha hızlı bir şekilde açıklanmasına yardımcı olabileceğini ekledi.
Açık kaynaklı bir AI modeli olduğundan, şirket ağırlıklarını GitHub’da barındırıyor sayfa. İlgilenen kişiler AI modelini indirip test edebilirler. Özellikle, araştırma, akademik ve ticari olmayan kullanıma izin veren Apache 2.0 lisansı altında lisanslanmıştır.