據(jù)外媒報道，阿里巴巴浙江大學(xué)研究中心和史蒂文斯理工學(xué)院的研究人員近日推出了一種提升AI閱讀唇語準確率的方法——“Lip by Speech（LIBS）”。

　　該方法利用視頻中的語音信息作為輔助線索，減少了AI對視頻中無關(guān)幀的關(guān)注，使其注意力更加集中。據(jù)研究人員稱，使用該方法的AI在兩個唇語閱讀基準測試中，字符錯誤率分別降低了7.66％和2.75％。

　　一、圖像語音相結(jié)合解讀唇語

　　實際上，能夠從視頻中讀唇語的AI和機器學(xué)習(xí)算法并不是什么新鮮事物。早在2016年，谷歌和牛津大學(xué)的研究人員就詳細介紹了一種系統(tǒng)，該系統(tǒng)可以以46.8％的精度注釋視頻素材，優(yōu)于專業(yè)讀唇語人員12.4％的精度。但是，即使是最先進的系統(tǒng)也難以解決唇部運動的“一語多義”問題，從而使唇語識別的準確率一直無法超越語音識別。

　　為了追求唇語閱讀性能更加強大的系統(tǒng)，阿里巴巴浙江大學(xué)研究中心和史蒂文斯理工學(xué)院的研究人員設(shè)計了一種方法，稱為“Lip by Speech（LIBS）”。該方法利用從語音識別器中提取的特征信息作為補充線索。他們說，利用該方法的系統(tǒng)在兩個基準測試中都達到了業(yè)界領(lǐng)先的準確性，在字符錯誤率方面分別降低了7.66％和2.75％。

　　LIBS和其他類似的解決方案可以幫助那些聽障人士觀看缺少字幕的視頻。據(jù)估計，全世界有4.66億人患有失能性聽力障礙（disabling hearing loss），約占世界人口的5％。根據(jù)世界衛(wèi)生組織的數(shù)據(jù)，到2050年，這一數(shù)字可能會超過9億。

　　二、LIBS方法是怎樣應(yīng)用的？

　　LIBS會以多種規(guī)模等級，從有聲視頻中提取有用的音頻數(shù)據(jù)，包括序列級（sequence level）、文本級（context level）和幀級（frame level）。然后，將這些提取的數(shù)據(jù)與視頻數(shù)據(jù)通過他們之間的對應(yīng)關(guān)系對齊，最后利用一種篩選（filtering）技術(shù)來優(yōu)化（refine）提取的數(shù)據(jù)。

　　LIBS的語音識別器和唇語閱讀器這兩部分均為一種“基于注意力的序列到序列的（attention-based sequence-to-sequence）”體系結(jié)構(gòu)，這種體系結(jié)構(gòu)可將一段音頻或視頻序列的輸入信息轉(zhuǎn)化為帶有標簽和注意價值（attention value）的輸出信息。

　　研究人員通過上述方法在LRS2數(shù)據(jù)集上對系統(tǒng)進行訓(xùn)練，LRS2包含來自BBC的45,000多個口頭句子，同時也在CMLR上訓(xùn)練，CMLR是現(xiàn)有的最大中文普通話口語語料庫，具有來自中國網(wǎng)絡(luò)電視臺的10萬多個自然句子（包括3,000多個中文字符和20,000個詞組）。

　　三、“幀級知識提取”是關(guān)鍵

　　該團隊指出，由于LRS2數(shù)據(jù)集中的某些句子過短，該系統(tǒng)難以在LRS2數(shù)據(jù)集上實現(xiàn)“合理的”結(jié)果。但是，一旦對最大長度為16個單詞的句子進行了預(yù)訓(xùn)練，解碼器就可以利用文本級的知識，提高LRS2數(shù)據(jù)集中句子結(jié)尾部分的質(zhì)量。

　　研究人員在論文中寫道：“LIBS減少了對無關(guān)幀的關(guān)注”，“幀級知識的提?。╢rame-level knowledge distillation）進一步提高了視頻幀特征的可分辨性，使注意力更加集中?！?/p>