0
自然語言處理是人工智能皇冠上的明珠，近日，度小滿金融AI-Lab讓人類摘得明珠的步伐又前進了一步。據中文語言理解領域的權威測評基準官網公布，度小滿金融AI-Lab研發的軒轅(XuanYuan)預訓練模型在CLUE1.1分類任務中“力壓群雄”獲得了排名第一的好成績。距離人類“表現”僅差3.38分！
CLUE是中文語言理解領域最具權威性的測評基準之一，涵蓋了文本相似度、分類、閱讀理解共10項語義分析和理解類子任務。其中，分類任務需要解決6個問題，例如傳統圖像分類，文本匹配，關鍵詞分類等等，能夠全方面衡量模型性能。該榜單競爭激烈，幾乎是業內兵家必爭之地，例如快手搜索、優圖實驗室 & 騰訊云等等研究機構也都提交了比賽方案。
據悉，位居榜首的“軒轅”是基于Transformer架構的預訓練語言模型，涵蓋了金融、新聞、百科、網頁等多領域大規模數據。因此，該模型“內含”的數據更全面，更豐富，面向的領域更加廣泛。
傳統預訓練模型采取“訓練-反饋”模式，度小滿金融AI-Lab在訓練“軒轅”的時候細化了這一過程，引入了任務相關的數據，融合不同粒度不同層級的交互信息，從而改進了傳統訓練模式。
模型設計思路有兩點：
1.宏觀角度，先從通用大規模的數據逐漸遷移到小規模的特定業務以及特定任務，然后去通過不同的階段逐漸訓練，直到滿足目標任務。
2.微觀角度，針對不同的下游分類任務，會相應的設計出定制化的分類模型。然后采用自監督學習、遷移學習等等提升模型的性能。
目前，“軒轅”還處于1.0的版本，更側重于自然語言理解能力，在接下來的2.0版本中，研發人員會采用更大規模的數據，訓練出更加通用的預訓練模型，從而賦能更多的業務和領域。
度小滿為何“看中”預訓練模型？
預訓練模型是一種遷移學習的應用，可以利用幾乎無限的文本，學習輸入句子的每一個成員的上下文相關的表示，它隱式地學習到了通用的語法語義知識。
換句話說，預訓練模型把通用人類的語言知識先學會，然后再代入到某個具體任務。它可以將從開放領域學到的知識遷移到下游任務，以改善低資源任務；還可以使自然語言處理由原來的手工調參、依靠 ML 專家的階段，進入到可以大規模、可復制的大工業施展的階段。
不止是融合人類知識，預訓練模型的“改善”、“大規模”、“可復制”等關鍵詞背后意味著降成本、提效率。這和度小滿金融CEO朱光““用科技服務小微企業是金融科技公司的價值和使命”的理念不謀而合。
今年5月21日，在度小滿金融成立三周年之際，度小滿金融CEO朱光表示，“未來三年，度小滿將繼續加大人工智能技術的研發投入，聚焦小微客戶，持續降低小微企業主的整體融資成本，為3000萬小微企業主提供值得信賴的綜合金融服務。”
目前，除了預訓練，度小滿金融AI-Lab在文本分類、信息抽取和技術資源等方向亦有布局。在戰略上會有兩點側重：首先加強自身的數據生態建設，合法合規使用用戶數據，解決數據孤島；其次通過產學研相結合，布局前沿技術，落地金融場景業務。目前，度小滿與北京大學光華管理學院成立了“金融科技聯合實驗室”，和西安交大成立了“西安交通大學-度小滿金融人工智能聯合研究中心”，并與中國科學院自動化研究所共建博士后工作站，共同開展人工智能及相關領域的博士后聯合招收培養。
度小滿研發人員一直相信人工智能技術勢必會變革金融領域的已有研究范式。因此，連接理論前沿研究與業界的技術應用研究，推動人工智能技術在金融產業中發揮更大價值，會是度小滿一直的追求。
雷峰網(公眾號：雷峰網)雷峰網雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
