谷歌語(yǔ)義理解框架SyntaxNet升級(jí) 開(kāi)啟無(wú)數(shù)可能性

在 AI 語(yǔ)義理解領(lǐng)域，谷歌一直不遺余力地進(jìn)行研發(fā)投入。

對(duì)于普通用戶而言，2015 年發(fā)布的基于深度神經(jīng)網(wǎng)絡(luò)的谷歌智能郵件回復(fù)，2016 年上線的神經(jīng)機(jī)器翻譯系統(tǒng)（GNMT），便源自于谷歌在該領(lǐng)域的研究成果。在消費(fèi)級(jí)產(chǎn)品之外，谷歌還持續(xù)為 AI 開(kāi)發(fā)者提供技術(shù)支持，不斷推出新的開(kāi)源工具。

去年夏天，針對(duì)語(yǔ)句的語(yǔ)法結(jié)構(gòu)分析，谷歌開(kāi)源了 SyntaxNet 神經(jīng)網(wǎng)絡(luò)框架，以及與之搭配英語(yǔ)分析預(yù)訓(xùn)練模型 Parsey McParseface。緊隨其后，谷歌發(fā)布了針對(duì)其他 40 門(mén)語(yǔ)言的語(yǔ)法分析模型。并將它們命名為 Parsey's Cousins（即 “Parsey 的表兄妹們”）。對(duì)英語(yǔ)國(guó)家開(kāi)發(fā)者而言，為英語(yǔ)之外的語(yǔ)言開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng)是一件相當(dāng)不容易的事。現(xiàn)在，經(jīng)過(guò)將近一年的努力，谷歌推出了 SyntaxNet 框架以及 Parsey 相關(guān)模型的升級(jí)版。

SyntaxNet 升級(jí)

就雷鋒網(wǎng)所知，這是 SyntaxNet 自誕生以來(lái)的最重大升級(jí)。這建立在谷歌對(duì)各語(yǔ)言的語(yǔ)義理解研究基礎(chǔ)之上。此次升級(jí)的核心是一項(xiàng)新技術(shù)：能對(duì)輸入語(yǔ)句的多層表示進(jìn)行很好的學(xué)習(xí)。具體來(lái)講，它延伸了 TensorFlow，能對(duì)多層語(yǔ)言結(jié)構(gòu)進(jìn)行合成建模，還能夠在語(yǔ)句或文件處理過(guò)程中，動(dòng)態(tài)地生成神經(jīng)網(wǎng)絡(luò)架構(gòu)。

舉個(gè)例子，該升級(jí)使創(chuàng)建基于字母的模型（能學(xué)習(xí)把單獨(dú)字母組合成詞語(yǔ)），變得更加簡(jiǎn)單。該模型還能夠?qū)W習(xí)到，不同詞語(yǔ)在共同組成部分（共享的字母）方面存在聯(lián)系。在另一方面，Parsey 和 Parsey’s Cousins 通過(guò)詞語(yǔ)排序而運(yùn)行。因此它們必須要對(duì)訓(xùn)練中的詞語(yǔ)進(jìn)行記憶，并依賴語(yǔ)境來(lái)決定“生詞”（此前未記憶過(guò)的詞語(yǔ)）的語(yǔ)法函數(shù)。

ParseySaurus

為了展示新版本 SyntaxNet 的強(qiáng)大之處，谷歌同時(shí)發(fā)布了新的預(yù)訓(xùn)練過(guò)的模型 ParseySaurus。ParseySaurus 模型，使用了上文提到的基于字母的輸入表示。因此，它極大提升了預(yù)測(cè)新詞語(yǔ)含義的能力。這是基于兩個(gè)方面來(lái)實(shí)現(xiàn)：詞匯的拼寫(xiě)和在語(yǔ)境中的使用方式。雷鋒網(wǎng)了解到，ParseySaurus 的準(zhǔn)確率遠(yuǎn)遠(yuǎn)超出 Parsey’s Cousins，錯(cuò)誤率降低了 25%。由于語(yǔ)言的形態(tài)特性和其他屬性，新模型在俄語(yǔ)、土耳其語(yǔ)、匈牙利語(yǔ)上的效果尤其好——這些語(yǔ)言中，同一個(gè)詞匯有多種不同形態(tài)，其中許多形態(tài)從未在訓(xùn)練階段出現(xiàn)過(guò)（即便是大型語(yǔ)料庫(kù)）。

競(jìng)賽

你或許會(huì)對(duì)“基于字母的模型是不是語(yǔ)義識(shí)別的最佳選擇”感到好奇。或者，是否有其他更好的技術(shù)。谷歌表示，新版本的谷歌 SyntaxNet 提供了許多全新可能性，比如 beam search 和不同的訓(xùn)練目標(biāo)；但新 SyntaxNet 的能力不止于此。雷鋒網(wǎng)消息，谷歌與布拉格大學(xué)（Charles University）合作，將在今年的 CoNLL 大會(huì)上舉辦多語(yǔ)言分解競(jìng)賽（multilingual parsing competition）。競(jìng)賽目標(biāo)是為 45 種語(yǔ)言，開(kāi)發(fā)出在現(xiàn)實(shí)環(huán)境下有良好表現(xiàn)的語(yǔ)義分解系統(tǒng)。

via google

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。