近日，在世界權威多語言理解評測XTREME（Cross-Lingual Transfer Evaluation of Multilingual Encoders）中，哈工大訊飛聯合實驗室（HFL）團隊以總平均分84.1位列榜首，刷新世界記錄，在四個賽道中獲得三項最好成績。

這也標志著科大訊飛多語言理解與跨語言遷移能力再上新臺階。

這個難度有多高？先來看一段話：

The heat required for boiling the water and supplying the steam can be derived from various sources, most commonly from burning combustible materials with an appropriate supply of air in a closed space (called variously combustion chamber, firebox). In manchen F?llen ist die W?rmequelle ein Atomreaktor, Erdw?rme, Solarenergie oder Abw?rme von einem Verbrennungsmotor oder einem Industrieprozess. En el caso de modelos o motores de vapor de juguete, la fuente de calor puede ser un calentador eléctrico.

上述這段話包含了英語、德語、西班牙語，而這只是機器多語言理解評測的冰山一角，它要面臨的是多達40種語言的高難度理解。翻譯成中文就是：

讓水沸騰以提供蒸汽所需熱量有多種來源，最常見的是在封閉空間（別稱有燃燒室 、火箱）中供應適量空氣來燃燒可燃材料。在某些情況下，熱源是核反應堆、地熱能、太陽能 或來自內燃機或工業(yè)過程的廢氣。如果是模型或玩具蒸汽發(fā)動機，還可以將電加熱元件作為熱源。

最新突破：在40種語言下完成自然語言理解

XTREME評測由谷歌公司舉辦，旨在全面考察模型的多語言理解與跨語言遷移能力。該評測覆蓋了中文、英語、韓語、日語、阿拉伯語、越南語等40種語言，包含了句對分類、序列標注、閱讀理解、句子檢索賽道，共四大類九個任務。吸引了國內外眾多知名高校和研究機構參加。

XTREME評測包含4大類9個任務，分別為：

? 句對分類：XNLI、PAWS-X（自然語言推斷）
? 序列標注：UDPOS（詞性標注）、PANX （命名實體識別）
? 閱讀理解：XQuAD、MLQA、TyDiQA（片段抽取型閱讀理解）
? 句子檢索：BUCC、Tatoeba（跨語言文本檢索）

與以往單語言自然語言理解評測任務不同的是，XTREME中的每一個任務都覆蓋了多種語言，評測的是模型在多種語言上的理解能力平均指標，因此對系統(tǒng)模型的多語言理解與跨語言遷移能力要求大大提高。

其難度可想而知，榜單上的模型也代表了多語言模型的頂尖水平，因此獲得了眾多機構和高校的廣泛關注。

機器是怎么做到多語言理解的？

本次哈工大訊飛聯合實驗室提交的CoFe模型以總成績84.1分位居XTREME評測榜首，有三大法寶：
1、加入了自主研發(fā)的跨語言對比學習技術，鼓勵模型學習不同語言中的語義相似性。
2、利用知識蒸餾技術進行自監(jiān)督學習和知識遷移，進一步提升了模型在各個語言上效果的穩(wěn)定性。
3、創(chuàng)新性地融入了細粒度的語言學特征，幫助模型克服訓練不足的困難，解決低資源語言學習不充分的問題，同時使之適應不同語言的形態(tài)學特點。

也就是說，通過本土語言學習，機器可以在少量其他語言語料的情況下，通過“類比”學會這門語言，減少了收集語料、語音標注等大量工作。

這就是多語言理解與跨語言遷移能力！

發(fā)布少數民族語言預訓練模型CINO

“要讓中文語音技術由中國人做到最好?！?br/>
成立至今，科大訊飛初心未改，持續(xù)關注并積極推動中文相關信息處理技術的研究與發(fā)展。少數民族語言處理是中文信息處理中不可缺少的一環(huán)，也是中文信息處理多樣性的一種體現。這項技術的進步將極大改善我國少數民族語言學習問題。



目前由于國內少數民族語言語料稀缺、獲取難度大等原因，相關技術研究相對匱乏，而主流的多語言模型也無法很好地處理國內少數民族語言文字。為了促進中國少數民族語言信息處理的研究與發(fā)展，近期科大訊飛發(fā)布了首個面向少數民族語言的多語言預訓練模型CINO (Chinese mINOrity pre-trained language model)，彌補相關資源的空白，并將相關預訓練模型和任務數據開源。希望未來能夠進一步促進業(yè)內少數民族語言相關的技術研究，推動少數民族語言相關技術的應用落地。未來支持各少數民族語言的多語言搜索引擎等文字應用工具或將成為可能。