近日，由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院NIST發(fā)起的OpenASR挑戰(zhàn)賽落下帷幕，科大訊飛參加了所有15個(gè)語(yǔ)種受限賽道和7個(gè)語(yǔ)種非受限賽道，全部取得第一！

繼前不久榮獲多語(yǔ)言理解評(píng)測(cè)XTREME冠軍之后，科大訊飛在多語(yǔ)種領(lǐng)域再次取得突破，在探索人機(jī)交互更自然、人人溝通無(wú)障礙的征程中又邁出了堅(jiān)實(shí)的一步，也為中國(guó)多語(yǔ)種語(yǔ)音語(yǔ)言技術(shù)趕超國(guó)際先進(jìn)水平、中國(guó)智能制造的全球化奠定了堅(jiān)實(shí)的基礎(chǔ)。

從大語(yǔ)種向低資源多語(yǔ)種拓展

與NIST此前組織的其他賽事相比，OpenASR更加關(guān)注小語(yǔ)種語(yǔ)音技術(shù)，探索如何使用少量的數(shù)據(jù)達(dá)到較好的效果，同時(shí)考察低資源語(yǔ)音識(shí)別基礎(chǔ)算法在多個(gè)語(yǔ)種上的推廣性。自2020年啟動(dòng)以來(lái)，吸引了加拿大蒙特利爾信息科技研究中心、新加坡科技研究局、清華大學(xué)、騰訊等國(guó)內(nèi)外知名研究機(jī)構(gòu)和企業(yè)參與其中。

本次比賽共包含15個(gè)語(yǔ)種，涵蓋受限賽道、受限附加賽道和非受限賽道。

15個(gè)語(yǔ)種信息

其中受限賽道為各參賽單位必選項(xiàng)，每個(gè)語(yǔ)種只能使用組委會(huì)提供的10小時(shí)標(biāo)注語(yǔ)音識(shí)別數(shù)據(jù)，受限附加賽道在受限賽道的基礎(chǔ)上允許使用開(kāi)源的預(yù)訓(xùn)練模型，而非受限賽道可以使用受限數(shù)據(jù)以外的數(shù)據(jù)。

科大訊飛-中科大聯(lián)合團(tuán)隊(duì)在比賽中提出了基于語(yǔ)音和文本統(tǒng)一空間表達(dá)的半監(jiān)督語(yǔ)音識(shí)別框架（UnifiedSpatial Representation Semi-supervisedASR，USRS-ASR），獲此佳績(jī)也驗(yàn)證了該算法良好的推廣性。

聯(lián)合團(tuán)隊(duì)全部15個(gè)語(yǔ)種受限賽道成績(jī)

聯(lián)合團(tuán)隊(duì)參加的7個(gè)語(yǔ)種非受限賽道成績(jī)

領(lǐng)先技術(shù)亮相國(guó)際賽場(chǎng)

在受限賽道上，由于每個(gè)語(yǔ)種只有10小時(shí)語(yǔ)音數(shù)據(jù)，如何使用少量文本數(shù)據(jù)，利用無(wú)監(jiān)督的方法增加語(yǔ)音訓(xùn)練數(shù)據(jù)的多樣性至關(guān)重要。

科大訊飛-中科大聯(lián)合團(tuán)隊(duì)創(chuàng)新運(yùn)用Flow-TTS語(yǔ)音合成進(jìn)行訓(xùn)練數(shù)據(jù)擴(kuò)增，并使用語(yǔ)音屬性解耦技術(shù)保證合成語(yǔ)音的多樣性。結(jié)果顯示，使用上述無(wú)監(jiān)督數(shù)據(jù)擴(kuò)增方案，能夠穩(wěn)定、顯著地提升低資源語(yǔ)音識(shí)別任務(wù)的效果。

而在非受限賽道上，雖然參賽者可以利用公開(kāi)的語(yǔ)音數(shù)據(jù)，但數(shù)據(jù)總量仍只有數(shù)百小時(shí)，而且語(yǔ)音數(shù)據(jù)和文本數(shù)據(jù)的量級(jí)差距十分明顯，這對(duì)于端到端識(shí)別框架來(lái)說(shuō)，弊端更為明顯。

USRS-ASR框架示意圖

首先，對(duì)于海量文本數(shù)據(jù)的使用，創(chuàng)新設(shè)計(jì)了文本掩碼語(yǔ)言模型任務(wù)、合成數(shù)據(jù)語(yǔ)音識(shí)別兩個(gè)目標(biāo)，兩個(gè)任務(wù)聯(lián)合訓(xùn)練以充分利用海量無(wú)監(jiān)督文本；其次，設(shè)計(jì)了共享語(yǔ)言解碼模塊，實(shí)現(xiàn)了語(yǔ)音和文本隱層表達(dá)空間的統(tǒng)一，大大緩解了低資源語(yǔ)種的數(shù)據(jù)稀疏問(wèn)題。

就在不久前，工信部正式批復(fù)同意成立國(guó)家智能語(yǔ)音創(chuàng)新中心、國(guó)家高端智能化家用電器創(chuàng)新中心，科技創(chuàng)新正不斷引領(lǐng)產(chǎn)業(yè)升級(jí)。值得注意的是，在這兩家國(guó)家級(jí)創(chuàng)新中心依托公司的股東名單中，“科大訊飛”均赫然在列。持續(xù)致力于打造源頭技術(shù)創(chuàng)新策源地，科大訊飛正不斷追尋“頂天立地”的產(chǎn)業(yè)夢(mèng)想。

此外，科大訊飛的多語(yǔ)種相關(guān)技術(shù)能力也已應(yīng)用于北京2022年冬奧會(huì)官方APP（冬奧通），助力冬奧信息溝通無(wú)障礙。