近日，黑龍江大學(xué)本科生創(chuàng)業(yè)團(tuán)隊的參賽項目“傳情達(dá)意——讓機(jī)器手語翻譯不再冰冷”憑借其獨(dú)特的創(chuàng)意和系列技術(shù)突破，在第十四屆“挑戰(zhàn)杯”秦創(chuàng)原中國大學(xué)生創(chuàng)業(yè)計劃競賽中榮獲金獎。這個項目研發(fā)了全國首個融合面部肌電信號的手語翻譯技術(shù)和相關(guān)AR眼鏡設(shè)備，不僅讓手語被“聽到”，還能讓聲音被“看見”。

團(tuán)隊通過調(diào)研發(fā)現(xiàn)，目前助聾設(shè)備普及率只有5%，且普遍價格高，適配場景少，準(zhǔn)確率較低。為此，團(tuán)隊決定在助聾設(shè)備方面做進(jìn)一步探索。他們歷時兩年，研發(fā)出樣品并進(jìn)行完善，目前已與徐州市特殊教育中心等機(jī)構(gòu)簽訂購買意向書。

“我們的創(chuàng)新產(chǎn)品主要由臂環(huán)和AR眼鏡兩部分組成?！表椖控?fù)責(zé)人、黑龍江大學(xué)電子工程學(xué)院朱銘熙說，臂環(huán)通過收集并識別聾啞人做手語時的肌電信號，將其轉(zhuǎn)化為語音，實現(xiàn)了手語的“聽覺化”。在這一過程中，電極貼片起到了關(guān)鍵作用。它們能夠捕捉肢體動作的細(xì)微變化，將其轉(zhuǎn)化為特征向量，與預(yù)先建立的手語向量數(shù)據(jù)庫進(jìn)行比對，從而準(zhǔn)確識別出手語的含義。

然而，僅有臂環(huán)的手語識別并不足以達(dá)到精準(zhǔn)翻譯的目標(biāo)。朱銘熙介紹：“手語中面部表情所占的權(quán)重不低于40%，而人的情緒主要通過眉毛和面頰兩側(cè)的肌肉來體現(xiàn)?！?/p>

為了提升準(zhǔn)確率，團(tuán)隊進(jìn)一步提升了設(shè)備精準(zhǔn)捕捉表情、理解情感的能力。他們將電極貼片安裝在AR眼鏡的引擎上，研發(fā)了我國首個融合面部肌電信號的手語翻譯技術(shù)。當(dāng)佩戴者因情緒產(chǎn)生微表情的時候，設(shè)備就能精準(zhǔn)捕捉這些微小的面部表情，并將其轉(zhuǎn)化為特征向量后與數(shù)據(jù)庫中的信息進(jìn)行比對，從而讓手語翻譯更加精準(zhǔn)。

同時，團(tuán)隊還擴(kuò)大了數(shù)據(jù)吞吐量，實現(xiàn)設(shè)備時延小于0.1秒，能實時完成13000余條手語數(shù)據(jù)的調(diào)用。正是基于這些技術(shù)，與同類產(chǎn)品相比，團(tuán)隊產(chǎn)品的實時性翻譯能力更強(qiáng)，準(zhǔn)確度更高。

朱銘熙團(tuán)隊的成果，不僅讓手語被“聽到”，還讓聲音被“看見”?？紤]到很多聽障人士存在識字困難，朱銘熙團(tuán)隊開發(fā)了一個能夠顯示在AR眼鏡上的數(shù)字人。當(dāng)識別到周圍有人說話時，文字內(nèi)容可以直接匹配到數(shù)字人的手語動作上。這樣，佩戴者就能在AR眼鏡上看到數(shù)字人打手語，無需識字就能理解對方的意思。

這一創(chuàng)新為聽障人士提供了極大便利，為他們打開了一個全新的交流世界。該技術(shù)不僅可以用于個人社交活動，也能作為聾啞學(xué)校基礎(chǔ)的教學(xué)輔助裝置?！巴ㄟ^讓學(xué)生佩戴臂環(huán)，我們可以檢測他們的手語表達(dá)是否標(biāo)準(zhǔn)，中控臺可以實時顯示結(jié)果，讓手語教學(xué)更直觀，也大大降低了教學(xué)成本和時間?！敝煦懳踅榻B。

目前，2000余位聽障人士佩戴了團(tuán)隊研發(fā)的產(chǎn)品。河南鄭州張哥助殘服務(wù)平臺創(chuàng)始人張繼磊試用產(chǎn)品后給予高度評價：“這款產(chǎn)品能夠切實幫助聾啞人群，應(yīng)用市場非常廣闊，希望能繼續(xù)完善，讓更多有需要的人受益?！?/p>

目前，團(tuán)隊正在向數(shù)據(jù)庫繼續(xù)補(bǔ)充手語數(shù)據(jù)，擴(kuò)大產(chǎn)品的應(yīng)用場景。