Çok büyük bir sürpriz olmayabilir. Sonuçta, 70 dolarlık Raspberry Pi AI Kamera görüldü Gömülü Dünya 2024ancak Raspberry Pi için yeni bir AI özellikli kamera haberi, Raspberry Pi’nin yeni AI ürün yelpazesine hoş bir katkıdır. Raspberry Pi AI Kiti Haziran ayında geri döndüm.
Raspberry Pi AI Kamera kiti, kalbinde başka bir Raspberry Pi bulunan yetenekli bir AI cihazıdır. Sensörün hemen altında bir RP2040 yatıyor. Raspberry Pi Pico’da bulunan SoC’nin aynısı. kadar güçlü olmayabilir RP2350 bulunan Ahududu Pi Pico 2ancak kamera ile Raspberry Pi arasında arayüz olarak çalışacak kadar hesaplama gücüne sahip. İşte bu noktada ilginçleşiyor. Sony IMX500, AI modelinin tüm hesaplama işlerini yapıyor. Raspberry Pi’nin CPU’su boşta duruyor. Bu, güç tüketiminin Pi’nin CPU’sunu kullanmaya göre çok daha düşük olduğu anlamına gelir. Bu AI kamerayı düşük güçlü bir Raspberry Pi Zero 2 W panele koyun ve yerleşik AI projeleri için güçlü bir kokteylimiz var.
Gömülü Dünya’da, Raspberry Pi AI Kamera, Raspberry Pi Zero 2W üzerinde çalıştırılıyordu ve kongre standındaki insanları takip ederken sabit bir 30 fps gösterdi.
Raspberry Pi AI Kamera 70 Dolar değerinde mi, yoksa parayı biriktirip bunun yerine Raspberry Pi AI Kitini mi satın almalısınız? Hadi öğrenelim!
Raspberry Pi AI Kamera Teknik Özellikleri
| Başlık Hücresi – Sütun 0 | Yapay Zeka Kamera | Kamera Modülü v3 |
|---|---|---|
| Sensör | Sony IMX500 “Akıllı Görüş Sensörü” | Sony IMX708 |
| Optik Boyut | 7,857 mm sensör diyagonal | 7,4 mm sensör diyagonal |
| Sensör Çözünürlüğü | 12,3 Megapiksel | 11,9 Megapiksel |
| Hareketsiz Çözünürlük | 4056 × 3040 piksel | 4608 × 2592 piksel |
| Giriş Tensörü Maksimum Boyutu | 640×640 | Yok |
| Kare hızı | 2×2 gruplu: 2028×1520 10 bit 30 fps Tam çözünürlük: 4056×3040 10 bit 10 fps | 1080p50, 720p100, 480p120 |
| Otomatik Odaklama Sistemi | Hayır, manuel odaklama | Motorlu |
| Odak Aralığı | 20 CM’den sonsuza | 10 CM’den sonsuza |
| Odak Uzunluğu | 4,74 mm | 4,74 mm |
| Boyutlar | 25x24x11,99 mm | 25 × 24 × 11,5 mm (Geniş modeller için 12,4 mm yükseklik) |
Raspberry Pi AI Kamera Tasarımı ve Kurulumu
Yeni Raspberry Pi Yapay Zeka Kamerasını Raspberry Pi Kamera Modülü V3 ve aile benzerliğini görebilirsiniz. Sıradan bir bakışta aynı görünüyorlar ancak yeni AI kameranın sensörün çevresinde daha büyük bir plastik kaplama var ve bunun altında bir RP2040 gizli.
AI kamera, kamerayı bir tutucuya sabitlemek için aynı montaj deliklerine sahiptir. 3D baskılı tutucum iyi çalıştı, ancak sensörün etrafındaki ekstra boyut, tıpkı V3 gibi her kamera montajına sığmayacağı anlamına geliyor.
Bu, Raspberry Pi’nin, aynı zamanda favori tek kartlı bilgisayarımızı da üreten Sony ile yaptığımız ortaklıktan doğan ilk yapay zeka kamerasıdır. Bu, Raspberry Pi’nin ilk yapay zeka kamerası olabilir ancak tipik bir kamera olarak da kullanılabilir. Maksimum 4056 x 3040 çözünürlükte fotoğraf ve video çekmeyi başardım. Video için bunu 1080p’ye düşüreceğim, çünkü en yüksek çözünürlük FPS’yi oldukça düşürecektir.
Kurulum çocuk oyuncağıydı. Yazılımı takın, açın ve güncelleyin. Bu bir inceleme birimi olduğu için tüketicilerin yapmayacağı birkaç ekstra adımı takip etmek zorunda kaldım. Öncelikle inceleme birimimiz beklendiği gibi çalışmadı; aygıt yazılımını en son sürüme güncellemem gerektiği ortaya çıktı. Bu arada kamerayı test etme şansım oldu.
Sony IMX500 “Akıllı Görüş Sensörü”
Sony’nin IMX500’ü sadece başka bir görüntü sensörü değil. Elbette 12 MP’lik bir dijital kameradır, ancak IMX500 bir “Akıllı Görüş Sensörüdür”, esasen kendi NPU’suna sahip bir görüntü sensörüdür. Kamera ile Raspberry Pi arasındaki bağlantı, modelleri önbelleğe almak için kullanılan 16 MB’lık bir flaş cihazıyla birlikte yerleşik Raspberry Pi RP2040 tarafından yönetiliyor. IMX500’ün sensörü video akışını başlattığında, Raspberry Pi Kamera Modülü v3’e çok benzer şekilde davranır; akış sırasında görüntüyü Bayer’den RGB’ye dönüştürür ve gerektiği şekilde kırpar/yeniden ölçeklendirir. Bu daha sonra Sony IMX500’ün yerleşik hızlandırıcısına beslenir; burada sinir ağı modeli çerçeveyi işler ve çıktı ve Bayer çerçevesi CSI-2 kamera veri yolu kullanılarak Raspberry Pi’ye aktarılır.
Sony, TensorFlow veya PyTorch modellerinizi Sony IMX500 için uyumlu bir modele dönüştürmek için kullanılabilecek kapsamlı bir araç serisine sahiptir. Raspberry Pi’nin zaten yapabileceğimiz bir “model hayvanat bahçesi” var sinir ağı modellerini indir Sony IMX500 için tasarlandı.
Raspberry Pi Yapay Zeka Kamerasını Kullanma
Daha önce bir Raspberry Pi kamera veya en son AI kitini kullandıysanız, o zaman tam evinizdesiniz. Basitçe söylemek gerekirse, AI kamera, AI kitine benzer şekilde davranır. TensorFlow desteğine sahiptir ve bazı nesneleri ve insan pozlarını tanımlayan modellerle birlikte gelir ve bunların tümü Sony IMX500’ün içinde yapılır.
Evet, Raspberry Pi 5’in Arm tabanlı SoC’si tüm işi AI kamera yaparken boşta bırakılır. Bu, Raspberry Pi 5’in daha fazla CPU yoğunluklu görevleri yerine getirmesini sağlarken, AI kamera tüm AI işlemlerini gerçekleştirir. Testlerimizi yaparken htop (sistem kaynaklarını izlemek için kullanılan terminal uygulaması) oturumunu açık tuttuk. Dört CPU çekirdeğinin de %10’un altında çalıştığını görebiliyorduk!
AI kamerayı, bir mobilenet nesne algılama modeli ve bir insan pozunu algılamak için kullanılan bir posenet modeli olmak üzere iki modelle test ettim. Her iki model de 640 x 480 pikselde çalıştı ve “animasyonlu poz algılama” testlerimin “heyecan verici” anlarında bile sabit 30 fps’de kaldı.
rpicam-hello nesne algılama demo komut dosyasını kullanarak, AI kameranın çekimde bir kişiyi, yani beni yüksek bir güven yüzdesiyle algıladığını görebildim. Daha sonra bir dizi aksesuara, bir su şişesine ve 3 boyutlu baskıya ulaştım. ölçek için muz. Görüntü odağa alındıktan sonra bu nesnelerin tümü tespit edildi. Bunun 20 cm’den sonsuzluğa kadar bir lens olduğunu unutmamalıyız, dolayısıyla çok yaklaşmak görüntünün bulanıklaşmasına neden olacak ve yapay zeka modeli nesneyi tespit edemeyecektir.
Daha sonra poz tespitine geçtim ve Michael Jackson’ın Thriller filminin yalnızca amatör dramatik düzeydeki bir yorumu olarak tanımlanabilecek bir şeyi gerçekleştirerek, AI modelinin pozumu omuzlarım ve kollarım boyunca bir tel çerçeve olarak algıladığını görebildim.
Bu demolar harika ama Raspberry Pi AI Kamerayı bir projede kullanabilir miyiz? Evet yapabiliriz! Picamera2 kütüphanesini kullanarak AI kameranın gücünü bir Python projesine taşıyabiliriz. Poz algılama, bir motoru kontrol etmek, bir ses efektini tetiklemek veya herhangi bir şeyi tetiklemek için kullanılabilir. Eğlenceli bir seviyede bunu bir videodaki sihirli efektleri tetiklemek için kullanabiliriz, daha ciddi bir seviyede ise hayatı iyileştiren bir araç olarak jest kontrolü için kullanılabilir.
Sony IMX500, PyTorch veya TensorFlow modellerini Sony IMX500’ün anlayabileceği bir şeye dönüştürmek için bir araca sahiptir. Bunlar pip kullanılarak terminalden kurulabilir. Yüklemeniz gerekecek modülleri sanal bir ortama dönüştürünPEP668 kılavuzuna göre.
Neden Raspberry Pi AI Kitini ve Kamera Modülü v3’ü satın almıyorsunuz?
Tamam, Raspberry Pi AI Kiti çok daha güçlü bir NPU’ya sahip. 70 $’lık Raspberry Pi AI Kiti, M.2 2242 paketi olarak Hailo-8L NPU ile birlikte gelir. Hailo-8L, M.2 HAT+ kartını kullanarak PCIe veriyoluna bağlanır ve TensorFlow, TensorFlow Lite, Keras, PyTorch ve ONNX ile yaklaşık 13 TOPS (Saniyede Tera İşlemi) performans sağlar. Ancak kamera kullanmak istersek 25 dolar daha ödememiz gerekiyor. Eğer bir sabit disk kullanmak istersek şansımız yaver gider çünkü Hailo-8L tek yeri işgal ediyor.
Raspberry Pi AI Kamera, Hailo-8L ile aynı performansa sahip olmayabilir; performansı teyit edemedik ancak Hailo-8L’nin Sony IMX500’den daha performanslı olduğu yönünde bir tahminde bulunabiliriz. RP2350’nin nasıl performans gösterdiğini görmek isterdik ama bu başka bir hikayenin konusu.
Raspberry Pi’niz için en üst düzey AI performansını arzuluyorsanız Raspberry Pi AI Kiti tam size göre. Ancak çoğumuz için Raspberry Pi AI Kamera harika bir iş çıkarıyor.
Raspberry Pi AI Kamera kimler içindir?
Bu “hepsi bir arada” bir cihaz olduğundan, AI kameranın okullarda ve endüstriyel ortamda hafif AI projeleri için kullanıldığını görebiliriz. Robotik projeleri için Raspberry Pi Yapay Zeka Kamera mükemmel olacak ve sizi kasanızı yeniden tasarlamaya zorlamadan engel tespiti için yeterli akıllı özellikler sunacaktır.
Kameradaki Sony IMX500 beyni işi bitirmek için yeterince iyi, hatta kullanıcıların %99’u için fazlasıyla iyi olduklarını söyleyebiliriz. Power AI kullanıcıları biraz daha fazla kas isteyecek ve bunun için Raspberry Pi AI kiti ilk başvuracağınız nokta olmalıdır. Güçlü bir AI tabanlı proje oluşturmak için yine de bir Kamera Modülü v3 bağlayabilir ve Python ile Hailo-8L NPU’yu kullanabilirsiniz. Ancak yapay zekaya ilgi duyuyorsanız yapay zeka kamerası 70 dolara çok iyi bir fırsat olabilir.
Sonuç olarak
70 Dolar değerindeki bu, Raspberry Pi için pahalı bir kamera, ancak bu “sadece bir kamera” değil. Picamera2 entegrasyonu sayesinde PyTorch veya TensorFlow modellerimizle kullanabileceğimiz bir yapay zeka olan yapay zekayı kameraya yerleştiriyoruz. Sadece işe yarıyor. Ön sürüm yazılımına sahip inceleme birimimiz bile süreci başlattıktan sonra çalıştı. Bu, yapay zekayı kameralarla kullanmaya başlamak isteyenler için çok değerli bir yapay zeka kitidir.