- 相關(guān)推薦
手語研究的方向與現(xiàn)狀
摘要：介紹國內(nèi)外手語研究的主要方向及研究現(xiàn)狀，手語識別的各種方法、手語合成的組成部分、手語網(wǎng)絡(luò)通信的實現(xiàn)技術(shù)以及手的運動約束問題。手語是聾啞人使用的語言。它是由手形動作輔之以表情姿勢而構(gòu)成的比較穩(wěn)定的表達系統(tǒng)，是一種靠動作/視覺進行交際的特殊語言。
人類交互往往聲情并茂，除了采用自然語言（口語、書面語言）外，人體語言（表情、體勢、手勢）也是人類交互的基本方式之一。與人類交互相比，人機交互就呆板得多，因而研究人體語言理解，即人體語言的感知，及人體語言與自然語言的信息融合對于提高計算機的人類語言理解水平和加強人機接口的可實用性的極有意義的。手語是人體語言的一個非常重要的組成部分，它是包含信息量最多的一種人體語言，它與語言及書面語等自然語言的表達能力相同，因而人機交互方面，手語完全可以作為一種手段，而且具有很強的視覺效果，它生動、形象、直觀。
手語的研究不僅有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù)。同時也可以應(yīng)用于計算機輔助啞語教學(xué)、電視節(jié)目雙語播放、虛擬人的研究、電影制作中的特技處理、動畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。另外，手語的研究涉及到教學(xué)、計算機圖形學(xué)、機器人運動學(xué)、醫(yī)學(xué)等多學(xué)科。因此，手語的研究是一個非常有意義的課題。這里將結(jié)合國內(nèi)外手語研究的相關(guān)方向，對手語的識別、手語的合成、手語的網(wǎng)絡(luò)通信、手的運動約束這幾方面作一下綜述。
1 手語的識別
手語的識別不但具有深遠的研究意義，而且具有廣闊的實際應(yīng)用前景，至少表現(xiàn)在以下幾個方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語和正常人交流；（2）從認(rèn)知科學(xué)的角度，研究人的視覺語言理解的機制，提高計算機對人類語言的理解水平；（3）利用手勢控制VR中的智能化；（4）機器人的示范學(xué)習(xí)；（5）虛擬現(xiàn)實系統(tǒng)中的多模式接口等。
從手語輸入設(shè)備來看，手語識別系統(tǒng)主要分為基于數(shù)據(jù)手套的識別和基于視覺（圖像）的手語識別系統(tǒng)。基于數(shù)據(jù)手套的手語識別系統(tǒng)，是利用數(shù)據(jù)手套和位置跟蹤測量手勢在空間運動的軌跡和時序信息。這種方法的優(yōu)點是系統(tǒng)的識別率高。缺點是打手語的人要穿戴復(fù)雜的數(shù)據(jù)手套和位置跟蹤器，并且輸入設(shè)備比較昂貴。利用數(shù)據(jù)手套等典型傳感設(shè)備的方法，臺灣大學(xué)的Liang等人利用單個VPL數(shù)據(jù)手套作為手語輸入設(shè)備，可識別臺灣手語課本中的250個基本詞條，識別率為90.5%。CMU的Christopher Lee和Xu在1995年完成了一個操縱機器人的手勢控制系統(tǒng)。Kadous用Power Gloves作為手語輸入設(shè)備，識別有95個孤立詞構(gòu)成的詞匯集，正確率為80%�；谝曈X的手勢識別是利用攝像機采集手勢信息，并進行識別。該方法的優(yōu)點是輸入設(shè)備比較便宜，但識別率比較底，實時性較差，特別是很難用于大詞匯量的手語錄的識別。在基于視覺的方法方面，具有代表性的研究成果包括：1991年富士通實驗室完成了對46個手語符號的識別工作。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺手套的手勢作為系統(tǒng)的輸入，可識別7種手勢。Starner等在對美國手語中帶有詞性的40個詞匯隨機組成短句子識別率達到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術(shù)識別262個孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結(jié)合用于美國手語識別，交互采用一個位置跟蹤器及三個互相垂直的攝像機作為手勢輸入設(shè)備，完成了53個孤立詞的識別，識別率為89.9%。
從識別技術(shù)來看，以往手語識別系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡(luò)（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡(luò)方法具有分類特性及抗干擾性，然而由于其處理時間序列的能力不強，目前廣泛用于靜態(tài)手勢的識別。著名的Fels的GloveTalk系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)方法作為識別技術(shù)。對于分析區(qū)間內(nèi)的手語信號，通常采取HMM方法進行模型化。HMM是眾周知并廣泛使用的統(tǒng)計方法，一般拓?fù)浣Y(jié)構(gòu)下的HMM具有非常強的描述手語信號的時空變化能力，在動態(tài)手勢識別領(lǐng)域一直占有主導(dǎo)地址，如卡內(nèi)基·梅隆大學(xué)的美國手語識別系統(tǒng)及臺灣大學(xué)的臺灣手語識別系統(tǒng)等均采用HMM作為系統(tǒng)的識別技術(shù)。另外，Grobel與Assam利用HMM識別由戴有色手套的用戶通過攝像機輸入的262個孤立手語詞，正確率為91.3%。然而正是由于HMM拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致這種模型在分析手語信號時過于復(fù)雜，使得HMM訓(xùn)練和識別計算量過大。尤其是在連續(xù)的HMM中，由于需要計算大量的狀態(tài)概率密度，需要估計的參數(shù)個數(shù)較多，使得訓(xùn)練及識別的速度相對較慢。因而以往手語識別系統(tǒng)所采用的HMM一般為離散HMM。
在我國，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了ANN與HMM的混合方法作為手語的訓(xùn)練識別方法，以增加識別方法的分類特性和減少模型的估計參數(shù)的個數(shù)。將ANN-HMM混合方法應(yīng)用于有18個傳感器的CyberGlove型號數(shù)據(jù)手套的中國手語識別系統(tǒng)中，孤立詞識別率為90%，簡單語句級識別率為92%。接下來高文等又選取Cyberglove型號數(shù)據(jù)手套作為手語輸入設(shè)備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統(tǒng)的識別技術(shù)，即利用一個隨時間變化的具有M個分量的混合GaussianN-元混合密度來模型化手語信號，可識別中國手語字典中274個詞條，識別率為98.2%。與基于HMM的識別系統(tǒng)比較，這種模型的識別精度與HMM模型的識別精度相當(dāng)，其訓(xùn)練和識別速度比HMM的訓(xùn)練與識別速度有明顯的改善。他們?yōu)榱诉M一步提高識別速度，識別模塊中選取了多層識別器，可識別中國手語字典中的274個詞條，識別率為97.4%。與基于單個DGMM的識別系統(tǒng)比較，這種模型的識別精度與單個DGMM模型的識別精度基本相同，但其識別速度比單個DGMM的識別速度有明顯的提高。2000年在國際上他們首次實現(xiàn)了5000詞以上的連續(xù)中國手語識別系統(tǒng)。另外，清華大學(xué)祝遠新、徐光等給出了一種基于視覺的動態(tài)孤立手勢識別技術(shù)，借助于圖像運動的變階參數(shù)模型和魯棒回歸分析，提出一種基于運動分割的圖像運動估計方法�；趫D像運動參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢參考模板，并利用基于模板的分類技術(shù)進行識別。對12種手勢的識別率超過90%。在進一步研究中，他們又給出了有關(guān)連續(xù)動態(tài)手勢的識別，融合手勢運動信息和皮膚顏色信息，進行復(fù)雜背景下的手勢分割；通過結(jié)合手勢的時序信息、運動表現(xiàn)及形狀表現(xiàn)，提出動態(tài)手勢的時空表現(xiàn)模型，并提出基于顏色、運行以及形狀等多模式信息的分層融合策略抽取時空表觀模型的參數(shù)。最后，提出動態(tài)時空規(guī)整算法用于手勢識別。對12種手勢，平均識別率高達97%。
盡管已經(jīng)實現(xiàn)了一些手語識別系統(tǒng)，但中國手語識別仍然面臨許多挑占性課題，如手勢不變特征的提取、手勢之間的過度模型、手語識別的最小識別基于、自動分割識別基元、詞匯量可擴展的
【手語研究的方向與現(xiàn)狀】相關(guān)文章：
關(guān)于幼兒家庭教養(yǎng)方式的現(xiàn)狀及培養(yǎng)策略的研究論文04-25
現(xiàn)代中小企業(yè)招聘現(xiàn)狀及其對策研究06-12
基于知網(wǎng)的翻譯研究方向碩士畢業(yè)論文寫作06-25
我國國內(nèi)旅游業(yè)發(fā)展現(xiàn)狀和趨勢研究10-29
我國高校音樂教育管理的發(fā)展現(xiàn)狀與改革研究論文（通用11篇）07-27
醫(yī)學(xué)本科生對醫(yī)學(xué)心理學(xué)教育現(xiàn)狀的調(diào)查研究論文08-24