近日,，黑龍江大學本科生創(chuàng)業(yè)團隊的參賽項目“傳情達意——讓機器手語翻譯不再冰冷”憑借其獨特的創(chuàng)意和系列技術突破,，在第十四屆“挑戰(zhàn)杯”秦創(chuàng)原中國大學生創(chuàng)業(yè)計劃競賽中榮獲金獎。這個項目研發(fā)了全國首個融合面部肌電信號的手語翻譯技術和相關AR眼鏡設備,，不僅讓手語被“聽到”,，還能讓聲音被“看見”。

團隊通過調(diào)研發(fā)現(xiàn),，目前助聾設備普及率只有5%,，且普遍價格高，適配場景少,，準確率較低,。為此，團隊決定在助聾設備方面做進一步探索,。他們歷時兩年,，研發(fā)出樣品并進行完善，目前已與徐州市特殊教育中心等機構簽訂購買意向書,。

“我們的創(chuàng)新產(chǎn)品主要由臂環(huán)和AR眼鏡兩部分組成,。”項目負責人,、黑龍江大學電子工程學院朱銘熙說,，臂環(huán)通過收集并識別聾啞人做手語時的肌電信號，將其轉化為語音,，實現(xiàn)了手語的“聽覺化”,。在這一過程中，電極貼片起到了關鍵作用,。它們能夠捕捉肢體動作的細微變化,，將其轉化為特征向量，與預先建立的手語向量數(shù)據(jù)庫進行比對,，從而準確識別出手語的含義,。

然而,，僅有臂環(huán)的手語識別并不足以達到精準翻譯的目標。朱銘熙介紹：“手語中面部表情所占的權重不低于40%,，而人的情緒主要通過眉毛和面頰兩側的肌肉來體現(xiàn),。”

為了提升準確率,，團隊進一步提升了設備精準捕捉表情,、理解情感的能力。他們將電極貼片安裝在AR眼鏡的引擎上,，研發(fā)了我國首個融合面部肌電信號的手語翻譯技術,。當佩戴者因情緒產(chǎn)生微表情的時候，設備就能精準捕捉這些微小的面部表情,，并將其轉化為特征向量后與數(shù)據(jù)庫中的信息進行比對,，從而讓手語翻譯更加精準。

同時,，團隊還擴大了數(shù)據(jù)吞吐量,，實現(xiàn)設備時延小于0.1秒，能實時完成13000余條手語數(shù)據(jù)的調(diào)用,。正是基于這些技術,，與同類產(chǎn)品相比，團隊產(chǎn)品的實時性翻譯能力更強,，準確度更高,。

朱銘熙團隊的成果，不僅讓手語被“聽到”,，還讓聲音被“看見”,。考慮到很多聽障人士存在識字困難,，朱銘熙團隊開發(fā)了一個能夠顯示在AR眼鏡上的數(shù)字人,。當識別到周圍有人說話時，文字內(nèi)容可以直接匹配到數(shù)字人的手語動作上,。這樣,，佩戴者就能在AR眼鏡上看到數(shù)字人打手語，無需識字就能理解對方的意思,。

這一創(chuàng)新為聽障人士提供了極大便利,，為他們打開了一個全新的交流世界。該技術不僅可以用于個人社交活動,，也能作為聾啞學校基礎的教學輔助裝置,?！巴ㄟ^讓學生佩戴臂環(huán),，我們可以檢測他們的手語表達是否標準，中控臺可以實時顯示結果,，讓手語教學更直觀,，也大大降低了教學成本和時間?！敝煦懳踅榻B,。

目前，2000余位聽障人士佩戴了團隊研發(fā)的產(chǎn)品,。河南鄭州張哥助殘服務平臺創(chuàng)始人張繼磊試用產(chǎn)品后給予高度評價：“這款產(chǎn)品能夠切實幫助聾啞人群,，應用市場非常廣闊，希望能繼續(xù)完善,，讓更多有需要的人受益,。”

目前,，團隊正在向數(shù)據(jù)庫繼續(xù)補充手語數(shù)據(jù),，擴大產(chǎn)品的應用場景。

（編輯：映雪）