Biz gördük Ahududu Pi eskiden her türlü bağlantıyı köprülüyordu ama bugün insan bağlantısındaki boşluğu kapatan bir Pi projesini paylaşıyoruz. Yapımcı ve geliştirici Prabhjot Singh, kendi adını verdiği şeyi yarattı Sağır Bağlantı. Robotik bir el kullanarak işaret dilini sesli konuşmaya ve konuşmayı işaret diline dönüştürmenize olanak tanıyan bir çeviri merkezi olarak hizmet vermek için Raspberry Pi kullanıyor.
İlk mod işaret-konuşma olarak bilinir. İşaret dilini yakalamak için Pi bir kamera modülü kullanıyor. Giriş verileri, Google TensorFlow ve yüzlerce işaret dili görüntüsüyle hem OpenCV hem de MediaPipe kullanılarak işlenir. İşaret tanımlandıktan sonra, hoparlöre gönderilen sese çevrilir.
Resim 1 ile ilgili 2
İkinci mod ise işlerin biraz çılgına döndüğü konuşma-işaretleme modudur. Ses, bir mikrofon kullanılarak algılanır ve daha sonra Google’ın konuşmadan metne dönüştürme API’si aracılığıyla ayrıştırılır. Metin, onu Arduino’ya aktaran bir MQTT komisyoncusu tarafından işlenir. Bu Arduino, metni işaret dili olarak yeniden oluşturmak için robotik eldeki servoları çalıştırıyor.
Projeyi yönlendiren ana kart, Arduino Nano 33 IoT’nin yanı sıra Raspberry Pi 4 B’dir. Pi, Raspberry Pi Kamera Modülü 3’e ve Razer Seiren Mini mikrofona bağlanır. Arduino, protez elin içinde kullanılan altı adet servo motora bağlanır. Her şey özel muhafazanın içine monte edilmiştir.
Singh, yazılım açısından MQTT, OpenCV ve Tensorflow gibi birkaç araç kullanıyor. Bu projenin nasıl programlandığı hakkında daha fazla bilgi edinmek istiyorsanız şanslısınız. Singh tüm projeyi açık kaynak yapmaya karar verdi, böylece paylaşılan proje kılavuzunda daha fazla ayrıntı bulabilirsiniz. Bilgisayar korsanı her şeyin nasıl bir araya geldiğini görmek için.
Bunu görmek istersen Ahududu Pi projesi çalışırken, paylaşılan demo videoya göz atabilirsiniz. Youtube Singh tarafından. Daha harika yaratımların yanı sıra bu konuyla ilgili gelecekteki güncellemeler için Singh’i takip ettiğinizden emin olun.