2019年12月，愛數(shù)智慧自然式對話測試數(shù)據(jù)集入選LDC Catalog，編號為LDC2019S23。LDC Catalog是經過CoreTrustSeal數(shù)據(jù)知識庫認證的數(shù)據(jù)存儲平臺，并獲得OLAC(開放數(shù)據(jù)存儲聯(lián)盟) 五星級評定。愛數(shù)智慧此次入選的數(shù)據(jù)集由60名發(fā)音人在不同環(huán)境中錄制而成，發(fā)音人來自全國多個口音區(qū)，年齡段覆蓋均衡。作為測試集，該數(shù)據(jù)集可為多種對話類語音識別模型測試提供特征廣泛的語音數(shù)據(jù)。

AI巨頭發(fā)力多輪對話研究，對話數(shù)據(jù)集需求爆發(fā)

AI巨頭在應用層的拓展推動對話類數(shù)據(jù)集需求迎來爆發(fā)期。《2019人工智能商業(yè)化報告》指出，語音交互更貼近人類的溝通行為和習慣，隨著技術突破帶來的用戶體驗的提升，將最有可能成為人機交互的主流。對話式語音交互成為AI巨頭發(fā)力的重點，谷歌、亞馬遜、阿里、騰訊、百度、小米等紛紛推出了支持多輪連續(xù)對話的智能音箱、智能助理、智慧客服、智能機器人等產品。AI系統(tǒng)連續(xù)對話能力將引發(fā)金融、教育、科技互聯(lián)網(wǎng)、交通出行、移動通信、科技制造等行業(yè)的交互變革。

另一方面，朗讀式數(shù)據(jù)的模型識別準確率已可達97%-98%，而從CHiME 5比賽數(shù)據(jù)來看，對話式數(shù)據(jù)的模型識別準確率基本在50%左右。這個結果表明，在語音識別領域，對話類語音識別仍然是一個挑戰(zhàn)。語音識別技術應用需要更好、更智能的對話類語音識別模型，也需要更多的對話類數(shù)據(jù)提升模型性能。

愛數(shù)智慧自然式對話測試數(shù)據(jù)集入選LDC Catalog

總有一些企業(yè)走在了行業(yè)趨勢的前端，因此當市場需求興起時，那些具有前瞻性眼光的企業(yè)便能抓住機遇的風口。2019年12月，著名的語音數(shù)據(jù)存儲與發(fā)布平臺LDC將愛數(shù)智慧的自然式對話測試數(shù)據(jù)集納入數(shù)據(jù)集目錄，編號為LDC2019S23。公開資料顯示，該目錄已經過CoreTrustSeal數(shù)據(jù)知識庫認證。這充分肯定了入選數(shù)據(jù)集的可信賴度，同時也表明這些數(shù)據(jù)在未來仍然有用且有意義。

愛數(shù)智慧自然式對話測試數(shù)據(jù)集詳解

愛數(shù)智慧科技有限公司成立于2016年，是一家專業(yè)的人工智能數(shù)據(jù)服務商，為語音識別、語音合成等領域提供專業(yè)的數(shù)據(jù)采集和標注服務。人工智能從業(yè)者常說 “Garbage in, garbage out”，也就是說好的數(shù)據(jù)和好的模型一樣重要。因此，我們不禁有些好奇這個數(shù)據(jù)集的魅力。愛數(shù)智慧的工作人員從數(shù)據(jù)采集、標注以及應用三方面為我們講述了這個數(shù)據(jù)集的豐富內涵。

（一）采集的多樣性

該數(shù)據(jù)集采用自發(fā)式風格錄制，發(fā)音人根據(jù)選擇的主題自由對話，充分還原生活中自然語言對話的場景。

發(fā)音人的多樣性：該數(shù)據(jù)集由60名發(fā)音人錄制而成，年齡段為4-67歲，采樣均衡;發(fā)音人來自全國多個口音區(qū)，如陜西、內蒙、福建等;

錄制環(huán)境多樣性：該數(shù)據(jù)集在三個不同混響的房間進行錄制，接近真實生活場景;

錄音設備多樣性：錄音設備包含5種不同品牌安卓手機、8種型號的蘋果手機、2種型號的錄音筆;

拾音距離的多樣性：數(shù)據(jù)集既包含近場數(shù)據(jù)，又包含遠場數(shù)據(jù)。

（二）標注的準確性

同一說話人音頻截取的準確性。在對話過程中，既有設備錄制單人說話聲音，又有設備

同時記錄對話音頻。因此，為了保證說話人音頻的一致性，需要將至少3份音頻數(shù)據(jù)結合起來標注。這要求在不同的音頻數(shù)據(jù)中，對同一說話人音頻的截取要保持高度的統(tǒng)一。

前瞻性的標簽體系和標注準則。自然語言產生的語音交疊、停頓、咳嗽、拍手等聲音都

是有意義的，這些聲音表明了說話人的狀態(tài)、情緒，甚至會暗示說話人的心理活動。如何用機器可識別的語言說明這些聲音呢?愛數(shù)智慧的標注團隊制定了一套客戶認可的標簽體系，為出現(xiàn)在音頻中的每一種聲音找到歸屬。在長期的標注中，愛數(shù)智慧形成了一套完整的標注準則，讓數(shù)據(jù)保持一致性。

（三）語音識別模型適配的多樣性

該自然式對話測試數(shù)據(jù)集可用于多種類型的語音識別模型測試，如對話識別模型、說話人分離、模型魯棒性測試等。

對話類語音識別模型準確率測試。例如，在一個典型的家庭應用場景中，使用語音交互的家庭成員包含老人、妻子(成年女性)、丈夫(成年男性)、孩子。這些家庭成員的發(fā)音方式、發(fā)音習慣均有差異。在語音識別模型中，該數(shù)據(jù)集發(fā)音人年齡的多樣性可用于測試模型對不同年齡段的識別效果。

說話人分離任務測試?；谔囟ㄕf話人的場景化識別已經成為研究熱點，美國國家標準局從2002年的豐富轉寫評測中正式加入了說話人分離任務，即從多人對話中自動地將語音依據(jù)說話人進行劃分并加以標記。該數(shù)據(jù)集在采集中，已經設置了單人錄音通道和多人錄音通道。因此，可以將該數(shù)據(jù)集用于測試模型對說話人分離任務的準確率。

說話人確認任務測試。標注人員按照說話人對音頻進行標注，即每段音頻都有對應的說話人。由于該數(shù)據(jù)集采用多種不同類型的設備錄制，在模型中，可將不同設備錄制的語音段用于對待測說話人的身份進行判斷，從而得出模型完成說話人確認任務的準確率。

模型魯棒性測試。該數(shù)據(jù)集采集中，既有近場數(shù)據(jù)，又包含遠場數(shù)據(jù)。將不同拾音距離的數(shù)據(jù)放入模型中，可以測試出模型在不同底噪、距離等因素干擾下的準確率，從而分析模型魯棒性。

此外，該數(shù)據(jù)集包含了多種口音的語音數(shù)據(jù)，可以幫助模型快速擴展到多個不同口音區(qū)域。

據(jù)了解，愛數(shù)智慧擁有數(shù)據(jù)量行業(yè)領先的中文自然對話數(shù)據(jù)庫，并在多語種自然對話數(shù)據(jù)制作上擁有行業(yè)認可的專業(yè)度?？芍谱?0多種語言的數(shù)據(jù)集，如中文、日語、韓語、泰語、他加祿語、馬來語以及各種口音的英語等。該公司已經積累10萬小時+多語種多場景的音頻數(shù)據(jù)，可快速用于提高語音識別模型性能。隨著AI巨頭對對話數(shù)據(jù)需求的爆發(fā)式增長，我們期待愛數(shù)智慧作為對話數(shù)據(jù)制作的先行者，發(fā)揮先發(fā)優(yōu)勢，為提升語音識別模型性能提供有力的數(shù)據(jù)支撐。