2
雷鋒網(wǎng) AI 科技評論按：在 Google I/O 2018 上，除了 Google 助手給餐館打電話的場景贏得現(xiàn)場觀眾的喝彩外，在用戶寫郵件時可預(yù)測下一句的 Smart Compose 技術(shù)同樣也引得眾人歡呼。近期，谷歌大腦團隊首席軟件工程師 Yonghui Wu 在 Google AI Po 出了這篇詳細介紹 Smart Compose 原理的博文，雷鋒網(wǎng) AI 科技評論將其內(nèi)容編譯如下。
Google I/O 2018 上，谷歌介紹了 Gmail 中的一項新特性，智能預(yù)測拼寫功能：Smart Compose，該新特性利用機器學習，交互式地為正在寫郵件的用戶提供補全句子的預(yù)測建議，從而讓用戶更快地撰寫郵件。Smart Compose 基于此前智能回復(fù)（Smart Reply）技術(shù)開發(fā)而來，Smart Compose 提供了全新的方式來幫助用戶撰寫郵件，無論用戶是在回一封來件還是從草稿箱起草一封新郵件。
谷歌在開發(fā) Smart Compose 的過程中，遭遇到了以下這些關(guān)鍵挑戰(zhàn)：
延遲：因為 Smart Compose 需基于用戶的每一次輸入來提供預(yù)測，所以它必須提供 100 毫秒以內(nèi)的理想預(yù)測，這樣用戶才察覺不到任何延遲。這時候，平衡模型復(fù)雜性和推理速度就成了一個需要解決的關(guān)鍵難題。
用戶規(guī)模：Gmail 擁有超過 14 億的各種用戶。為了面向所有用戶提供自動組句預(yù)測，模型必須擁有足夠強的建模能力，這樣它才能精細地在不同上下文中提供定制建議。
公平性和用戶隱私：在 Smart Compose 的開發(fā)過程中，谷歌需要在訓練過程中處理潛在偏倚的來源，并遵守像 Smart Reply 功能一樣嚴格的用戶隱私標準，以確保模型不會暴露用戶的隱私信息。另外，谷歌的研究人員也不具備查看用戶郵件的權(quán)限，這意味著他們不得不在一個自己都無法查看的數(shù)據(jù)集上開發(fā)和訓練一個機器學習系統(tǒng)。
比如 ngram，neural bag-of-words（BoW）和 RNN language 這種典型的語言生成模型，它們是基于前綴詞序列來預(yù)測下一個詞的。然而，在一封郵件中，用戶在當前郵件撰寫會話中打下的單詞會給模型一個信號，模型會利用該信號來預(yù)測下一個單詞。為了結(jié)合更多用戶想表達的上下文，谷歌的模型還會利用郵件主題和此前的郵件正文（假設(shè)用戶正在回復(fù)一封剛剛收到的郵件）。
谷歌的方法是包含利用額外語境的一個方法，該方法是將問題轉(zhuǎn)換成一個序列到序列（seq2seq）的機器翻譯任務(wù)，其中源序列是郵件主題和上封郵件正文（假設(shè)存在上封郵件）的串聯(lián)，用戶正在寫的郵件是目標序列。盡管該方法在預(yù)測質(zhì)量上表現(xiàn)良好，但它的延遲要比谷歌嚴苛的延遲標準超出了好幾個量級
為了提高預(yù)測質(zhì)量，谷歌將一個 RNN-LM 神經(jīng)網(wǎng)絡(luò)與一個 BoW 模型結(jié)合起來，結(jié)合后的模型在速度上比 seq2seq 模型要快，且只輕微犧牲了預(yù)測質(zhì)量。在該混合算法中，谷歌通過把詞嵌套們平均分配在每個區(qū)域內(nèi)，來對郵件主題和此前的郵件內(nèi)容進行編碼。隨后谷歌將這些平均分配后的嵌套連接在一起，并在每次執(zhí)行解碼步驟時將它們提供給目標序列 RNN-LM，過程如下面的模型圖解。
當然，一旦選定了這種建模方法，谷歌就必須調(diào)整各種模型超參數(shù)和使用超過數(shù)十億的樣本來訓練這些模型，所有的這些操作都相當費時。為了實現(xiàn)加速，谷歌使用了一個完整 TPUv2 Pod 來執(zhí)行實驗。在這情況下，谷歌能夠在一天之內(nèi)將一個模型訓練至收斂狀態(tài)。
在谷歌訓練出速度上更快的混合模型之后，初始版本的 Smart Compose 在一個標準 CPU 上運行時，依舊存在幾百毫秒的平均服務(wù)延遲，這與 Smart Compose 努力預(yù)測語句來幫用戶節(jié)省時間的特點是不相符的。幸運的是，谷歌可在推斷期間使用 TPU 來大大地加速用戶體驗，通過分流 TPU 之上的大部分計算，谷歌可以將平均延遲改良至幾十毫秒，同時也能大大增加單一機器可處理的服務(wù)請求數(shù)量。
由于語言理解模型會反映人類的認知偏倚，這樣會導(dǎo)致得到多余的詞匯聯(lián)想和句子完成建議，所以在機器學習內(nèi)實現(xiàn)公平至關(guān)重要。Caliskan et al. 在他們近期的「Semantics derived automatically from language corpora contain human-like biases」論文中指出，模型的詞聯(lián)想深陷于自然語言數(shù)據(jù)的偏倚數(shù)據(jù)中，這為打造任何一個語言模型都帶來了相當?shù)奶魬?zhàn)。在模型訓練過程中，谷歌積極地尋找方法來持續(xù)降低潛在的偏倚。另外，由于 Smart Compose 是基于數(shù)十億的短語和句子進行訓練，這與垃圾郵件機器學習模型的訓練方法一致，谷歌已經(jīng)進行了廣泛的測試來確保，模型只記憶多種用戶都使用的常識語句，關(guān)于常識語句的調(diào)查結(jié)果源自這篇論文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（https://arxiv.org/abs/1802.08232）。
谷歌將持續(xù)地研究改良語言生成模型的預(yù)測質(zhì)量，為此谷歌會通過使用最先進的構(gòu)架（如 Transformer，RNMT+等）和試用最新、最先進的訓練技術(shù)來實現(xiàn)這一目標。一旦模型的實驗結(jié)果滿足了谷歌的嚴格延遲約束條件，谷歌就會把這些更加的先進模型部署到自家產(chǎn)品上去。另外，谷歌還在進行結(jié)合個人語言模型的研究，該模型的目的是給系統(tǒng)增加一個新特性，讓它能夠更加準確地模擬每個用戶自己的寫作風格。
via Google AI Blog，雷鋒網(wǎng) AI 科技評論編譯。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
