0
| 本文作者： 楊鯉萍 | 2019-08-06 11:17 | 專題：CNCC 2019 |
雷鋒網(wǎng) AI 科技評(píng)論按：7 月 30 日，百度發(fā)布了 ERNIE（Enhanced Representation through kNowledge IntEgration）的優(yōu)化版本——ERNIE 2.0 自然語言理解框架。這個(gè)中英文對話的 AI 框架不僅獲得了最優(yōu)的（SOTA）結(jié)果，并且在 16 個(gè) NLP 任務(wù)中表現(xiàn)出優(yōu)于 BERT 和最近的 XLNet 的高水準(zhǔn)。目前，ERNIE 2.0 代碼和英文預(yù)訓(xùn)練模型已開源。
近年來，類似于 BERT，XLNet 的無監(jiān)督預(yù)訓(xùn)練自然語言表達(dá)模型在各種自然語言理解任務(wù)中取得了重大突破，包括語言推斷、語義相似度、命名實(shí)體識(shí)別、情感分析等。這也表明了基于大規(guī)模數(shù)據(jù)的無監(jiān)督預(yù)訓(xùn)練技術(shù)能夠在自然語言處理中發(fā)揮至關(guān)重要的作用。
SOTA 預(yù)訓(xùn)練模型（如 BERT，XLNet 和 ERNIE 1.0）的預(yù)訓(xùn)練系統(tǒng)核心是基于幾個(gè)簡單的任務(wù)來模擬單詞或句子的共現(xiàn)。例如，BERT 構(gòu)建了掩碼模型和下一個(gè)句子預(yù)測任務(wù)，從而捕獲單詞和句子的共現(xiàn)信息；XLNet 則構(gòu)造了一種全排列的語言模型，并采用了自回歸的方式來捕獲單詞的共現(xiàn)信息。
然而除了共現(xiàn)之外，訓(xùn)練語料庫中還包含語法、語義信息等更多有價(jià)值的信息。例如：命名實(shí)體（名稱、位置和組織），則可以包含概念信息、句子之間的順序和距離關(guān)系等結(jié)構(gòu)知識(shí)；而文檔層面的語義相似性或句子之間的話語關(guān)系，則能夠訓(xùn)練模型學(xué)習(xí)語義感知表示。假設(shè)模型能夠經(jīng)過訓(xùn)練從而不斷學(xué)習(xí)更多類型的任務(wù)，是否這樣可以進(jìn)一步提高模型的效果呢？
ERNIE 2.0 ——可持續(xù)學(xué)習(xí)語義理解框架
基于這一理念，百度提出了一種持續(xù)學(xué)習(xí)的語義理解預(yù)訓(xùn)練框架 ERNIE 2.0，它可以通過持續(xù)的多任務(wù)學(xué)習(xí)，逐步學(xué)習(xí)和建立預(yù)訓(xùn)練任務(wù)。
該框架支持增量引入詞匯 (lexical)、語法 (syntactic) 、語義 (semantic) 等 3 個(gè)層次的自定義預(yù)訓(xùn)練任務(wù)，并通過多任務(wù)學(xué)習(xí)對其進(jìn)行訓(xùn)練，實(shí)現(xiàn)全面捕捉訓(xùn)練語料中的詞法、語法、語義等潛在信息。而且每當(dāng)引入新任務(wù)時(shí)，該框架在遞增地訓(xùn)練分布式表示的同時(shí)，還會(huì)記住先前任務(wù)的信息。 
新發(fā)布的 ERNIE 2.0 模型的結(jié)構(gòu)
ERNIE 2.0 與 BERT 或 XLNet 等經(jīng)典預(yù)訓(xùn)練方法的不同之處在于，它并不是在少量的預(yù)訓(xùn)練任務(wù)上完成的，而是通過不斷引入大量預(yù)訓(xùn)練任務(wù)，從而幫助模型高效地學(xué)習(xí)詞匯、句法和語義表征。作為一種全新的語言理解持續(xù)預(yù)訓(xùn)練框架，ERNIE 2.0 不僅實(shí)現(xiàn)了 SOTA 效果，而且為開發(fā)人員構(gòu)建自己的 NLP 模型提供了可行的方案。
ERNIE 2.0 測試效果
百度將 ERNIE 2.0 模型的性能與英文數(shù)據(jù)集 GLUE 和 9 個(gè)流行的中文數(shù)據(jù)集的現(xiàn)有 SOTA 預(yù)訓(xùn)練模型進(jìn)行了比較。結(jié)果表明，ERNIE 2.0 在 7 種 GLUE 語言理解任務(wù)上優(yōu)于 BERT 和 XLNet，并在所有 9 種中文 NLP 任務(wù)上擊敗 BERT，例如：基于 DuReader 數(shù)據(jù)集的閱讀理解，情感分析和問答。
模型在 9 項(xiàng)常規(guī)中文 NLP 任務(wù)中的結(jié)果；模型結(jié)果均為五次實(shí)驗(yàn)結(jié)果的中位數(shù)，粗體字表示 SOTA 結(jié)果
實(shí)際上根據(jù) GLUE 數(shù)據(jù)集的測試結(jié)果，無論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語任務(wù)上優(yōu)于 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實(shí)現(xiàn)了最佳性能，并為中文 NLP 任務(wù)創(chuàng)造了新的最優(yōu)性能的結(jié)果。 
模型在 GLUE 上的結(jié)果，其中開發(fā)集上的結(jié)果是五次實(shí)驗(yàn)結(jié)果的中位數(shù)，測試集結(jié)果根據(jù) GLUE 評(píng)估服務(wù)完成
原文地址：
http://research.baidu.com/Blog/index-view?id=121
模型論文地址：
https://arxiv.org/abs/1907.12412
Github 項(xiàng)目地址：
雷鋒網(wǎng) AI 科技評(píng)論 雷鋒網(wǎng)
【CNCC 2019來了！】
10月17-19日，CNCC 2019 將在蘇州金雞湖國際會(huì)議中心舉辦，本次會(huì)議由中國計(jì)算機(jī)學(xué)會(huì) (CCF) 主辦，蘇州工業(yè)園區(qū)管委會(huì)承辦。
CNCC 全稱為中國計(jì)算機(jī)大會(huì)，是我國計(jì)算領(lǐng)域規(guī)模最大、規(guī)格最高的學(xué)術(shù)、技術(shù)、產(chǎn)業(yè)交融互動(dòng)的盛會(huì)。該會(huì)議創(chuàng)建于 2003 年，每年于不同城市舉辦，至今已成功舉辦十五屆。會(huì)議形式包括大會(huì)特邀報(bào)告、大會(huì)論壇、技術(shù)論壇、特色活動(dòng)及展覽展示等。大會(huì)也特別設(shè)立了“自然語言理解的挑戰(zhàn)與機(jī)遇”技術(shù)論壇，敬請關(guān)注。
如果你是個(gè)人參會(huì)，可以：
?通過官網(wǎng)cncc.ccf.org.cn參會(huì)報(bào)名
?申請論壇，作為論壇主席或講者參會(huì)
?申請資助參會(huì)，申請者限邊遠(yuǎn)地區(qū)高校青年教師或?qū)W生
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
