0
| 本文作者： 楊鯉萍 | 2019-08-06 11:17 | 專題：CNCC 2019 |
雷鋒網 AI 科技評論按：7 月 30 日，百度發布了 ERNIE（Enhanced Representation through kNowledge IntEgration）的優化版本——ERNIE 2.0 自然語言理解框架。這個中英文對話的 AI 框架不僅獲得了最優的（SOTA）結果，并且在 16 個 NLP 任務中表現出優于 BERT 和最近的 XLNet 的高水準。目前，ERNIE 2.0 代碼和英文預訓練模型已開源。
近年來，類似于 BERT，XLNet 的無監督預訓練自然語言表達模型在各種自然語言理解任務中取得了重大突破，包括語言推斷、語義相似度、命名實體識別、情感分析等。這也表明了基于大規模數據的無監督預訓練技術能夠在自然語言處理中發揮至關重要的作用。
SOTA 預訓練模型（如 BERT，XLNet 和 ERNIE 1.0）的預訓練系統核心是基于幾個簡單的任務來模擬單詞或句子的共現。例如，BERT 構建了掩碼模型和下一個句子預測任務，從而捕獲單詞和句子的共現信息；XLNet 則構造了一種全排列的語言模型，并采用了自回歸的方式來捕獲單詞的共現信息。
然而除了共現之外，訓練語料庫中還包含語法、語義信息等更多有價值的信息。例如：命名實體（名稱、位置和組織），則可以包含概念信息、句子之間的順序和距離關系等結構知識；而文檔層面的語義相似性或句子之間的話語關系，則能夠訓練模型學習語義感知表示。假設模型能夠經過訓練從而不斷學習更多類型的任務，是否這樣可以進一步提高模型的效果呢？
ERNIE 2.0 ——可持續學習語義理解框架
基于這一理念，百度提出了一種持續學習的語義理解預訓練框架 ERNIE 2.0，它可以通過持續的多任務學習，逐步學習和建立預訓練任務。
該框架支持增量引入詞匯 (lexical)、語法 (syntactic) 、語義 (semantic) 等 3 個層次的自定義預訓練任務，并通過多任務學習對其進行訓練，實現全面捕捉訓練語料中的詞法、語法、語義等潛在信息。而且每當引入新任務時，該框架在遞增地訓練分布式表示的同時，還會記住先前任務的信息。 
新發布的 ERNIE 2.0 模型的結構
ERNIE 2.0 與 BERT 或 XLNet 等經典預訓練方法的不同之處在于，它并不是在少量的預訓練任務上完成的，而是通過不斷引入大量預訓練任務，從而幫助模型高效地學習詞匯、句法和語義表征。作為一種全新的語言理解持續預訓練框架，ERNIE 2.0 不僅實現了 SOTA 效果，而且為開發人員構建自己的 NLP 模型提供了可行的方案。
ERNIE 2.0 測試效果
百度將 ERNIE 2.0 模型的性能與英文數據集 GLUE 和 9 個流行的中文數據集的現有 SOTA 預訓練模型進行了比較。結果表明，ERNIE 2.0 在 7 種 GLUE 語言理解任務上優于 BERT 和 XLNet，并在所有 9 種中文 NLP 任務上擊敗 BERT，例如：基于 DuReader 數據集的閱讀理解，情感分析和問答。
模型在 9 項常規中文 NLP 任務中的結果；模型結果均為五次實驗結果的中位數，粗體字表示 SOTA 結果
實際上根據 GLUE 數據集的測試結果，無論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語任務上優于 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實現了最佳性能，并為中文 NLP 任務創造了新的最優性能的結果。 
模型在 GLUE 上的結果，其中開發集上的結果是五次實驗結果的中位數，測試集結果根據 GLUE 評估服務完成
原文地址：
http://research.baidu.com/Blog/index-view?id=121
模型論文地址：
https://arxiv.org/abs/1907.12412
Github 項目地址：
雷鋒網 AI 科技評論 雷鋒網
【CNCC 2019來了！】
10月17-19日，CNCC 2019 將在蘇州金雞湖國際會議中心舉辦，本次會議由中國計算機學會 (CCF) 主辦，蘇州工業園區管委會承辦。
CNCC 全稱為中國計算機大會，是我國計算領域規模最大、規格最高的學術、技術、產業交融互動的盛會。該會議創建于 2003 年，每年于不同城市舉辦，至今已成功舉辦十五屆。會議形式包括大會特邀報告、大會論壇、技術論壇、特色活動及展覽展示等。大會也特別設立了“自然語言理解的挑戰與機遇”技術論壇，敬請關注。
如果你是個人參會，可以：
?通過官網cncc.ccf.org.cn參會報名
?申請論壇，作為論壇主席或講者參會
?申請資助參會，申請者限邊遠地區高校青年教師或學生
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
