0
雷鋒網按：2017 年 7 月 8 日，由中國計算機學會（CCF）主辦，雷鋒網與香港中文大學（深圳）承辦的全球人工智能與機器人峰會（CCF-GAIR）進入第二天。在智能助手專場，來自哈爾濱工業大學的劉挺教授為我們帶來了題為“人機對話技術的進展”的主題演講。
劉挺，哈爾濱工業大學教授，社會計算與信息檢索研究中心主任。多次擔任國家863重點項目總體組專家、973項目專家組成員、基金委會評專家，入選科技部中青年科技創新領軍人才。主要研究方向為自然語言處理和社會計算，是國家973課題、國家自然科學基金重點項目的負責人，曾獲國家科技進步二等獎、省科技進步一等獎、錢偉長中文信息處理科學技術一等獎。
以下內容由雷鋒網整理自劉挺教授的報告，有刪減：
感謝主辦方的邀請，我是來自哈爾濱工業大學的劉挺，我的題目叫“人機對話技術的進展”。
人機對話概述
下面是人機對話的基本框架，可以通過語音輸入和輸出，也可以通過文本直接交互。其中包括三個重要的模塊：語言理解、對話管理、語言生成。我后面的演講會提到這幾項技術。
作為一個學者，我可能不如大家對產業界理解得這么深入。從我的角度觀察，人機對話走過了三個階段：第一，語音助手時代；第二，2014年進入聊天機器人時代；第三就是2016年進入場景化的任務執行。
語音助手時代
2011年，喬布斯臨終前在iPhone4S中推出Siri，當時的技術還是很不成熟。2012年，中國的各個廠商紛紛效仿做語音助手。2014年，個別企業紛紛把語音助手團隊解散。主要原因：第一，技術尚不成熟，聽得見，但聽不懂。以至于很多本來嚴肅的服務變成對語音助手的調戲；第二，語音也并不總是最自然的溝通方式，它需要私密的環境，有時候還需要圖像交互界面進行配合。
聊天機器人時代
2014年微軟推出小冰，干脆就來聊天和娛樂，放棄語音使用，直接用文字進行溝通。這時候深度學習被充分運用，技術水平有提高，難點在于對語境的建模和機器人自身建模方面。比如你問機器人：“你今年多大了？”，“我5歲了”。但說“你結婚了嗎？”，“我結婚10年了”，他自己會發生矛盾。 應用上，用戶留存率并不是很高，雖然用戶量大，但持續跟機器人聊下去的并不多。
現在有人反思做聊天沒意義，我認為還是有用的。主要有三方面的作用。第一，建立人和機器之間的信任。第二，聊天過程中，聊天機器人和搜索引擎相比有一個大的優勢，搜索引擎只能被動觀察用戶的輸入，但機器可以主動向人發問。比如機器人問人喜歡看電影嗎，回復喜歡。機器人再問喜歡哪一類的，回復喜歡看動作片，機器人立刻推薦一個成龍的動作片過去。第三，情緒撫慰功能，機器人的優點是隨叫隨到、嘴嚴、可定制。
場景化的任務執行時代
現在處于實用化的努力階段，通用的做不到，既可以回退為娛樂化也可以回退在特定場景下使用。這一階段的特點是：將人機對話局限在特定場景，進一步降低用戶期望值；利用場景約束，提高語義消歧能力。當你坐在電視機前想點電視節目，能發出指令，并且發出指令的方式是有限的。存在的問題有兩個：一是場景切換，需要重新部署。二是工程化色彩嚴重，不能夠一攬子解決問題，研發成本增高。
當今人機對話系統功能：
當今人機對話系統主要有四大功能。一是聊天。聊天的目的是要讓人和機器盡可能的多聊下去，去消耗時間。另外知識問答、任務執行、推薦這三個是比較嚴肅的功能，都是以快速的結束聊天為目標。
人機對話系統又分下面這三方面：自然語言理解、對話管理、自然語言生成。這里面聊天、知識、任務、推薦，都有各自相應的研究點。具體內容請看PPT。
人機對話技術進展
現在人機對話技術到底到了一個什么程度，主要從前面說的四方面選出兩個最重要的：聊天、任務執行。任務執行不同企業的叫法不一樣，我們叫任務。聊天是沒有明確目標的，任務是定機票、定餐館等。聊天搜索空間比較大。
聊天機器人最早出現是在上世紀60年代，有人研究出一個能夠和精神病患者聊天的機器人，效果挺驚人，此后不斷的發展。騰訊的小Q機器人、還有微軟小冰、Tay，這都是聊天機器人的系列產品。提到聊天，首先會想到根據以前的聊天記錄，通過搜索，就可以回答一些問題。
單輪對話生成的進展比較技術化。發展趨勢是不僅僅通過算法解決問題，而且要確定一個主題，借用外部資源，把話說得更豐滿。
多輪對話中，聊天和搜索有很大的區別。搜索也開始啟動多輪搜索，但是真正的多輪是在聊天當中體現的，要有多個回合，這里面會產生指代、省略等等。如何在多輪對話里讓人感覺這是一個完整的對話很值得研究。這里面出現很多技術，包括深度學習和強化學習的融合。
智能助手有一系列產品，從蘋果、微軟，到Facebook、亞馬遜。現在很多大企業不但自己做智能助手，而且提供對話平臺。對話可以稱為對話操作系統或者對話人工智能。微軟在研發，很多企業在收購，百度既研發又收購，推出面向中小企業的平臺。
任務型對話系統的語言理解部分，通常使用語義槽來表示用戶的需求，如出發地、到達地、出發時間等信息。因此可以使用序列標注模型來抽取語義槽。CRF （條件隨機場）是過去經常使用的序列標注模型，但是受限于馬爾科夫假設，它無法很好的處理長距離依賴問題。隨著深度學習方法的流行，人們使用循環神經網絡，如雙向 LSTM 來解決長距離依賴問題，同時還避免了繁瑣的特征工程工作。最近，人們將這兩種方法進行融合，即雙向 LSTM-CRF 模型，進一步提高了槽填充的準確率。
對話管理指的是根據上一步語言理解步驟識別的語義信息，決策系統下一步所需采取的策略，如追問、澄清還是給出結果等。最簡單也是最常用的方法是采用基于規則的方法，即根據不同的情況人工制定對話樹，這種方法需要耗費大量的人力，而且可移植性也比較差。有指導學習的方法只需人工針對一些具體的樣例，標注對應的回復策略數據，然后就可以交給機器學習了。但是這種方法需要針對每條對話進行標注，標注難度很高。近年來，采用強化學習的方法成為研究的主流，該方法無需逐條標注，只需要將整個對話的最終結果作為獎勵，系統就可以學習到最優的策略序列。
最后對話生成模塊根據采用的不同對話策略，給出不同的系統回復。最簡單就是采用基于模板的方法，但是該方法很難在不同的領域之間遷移。后來人們采用基于語言模型的方法，直接從語料庫中學習回復的語言。近年來，深度學習中序列到序列的方法為對話生成提供了一種新的思路，不同于機器翻譯等任務所采用的序列到序列模型，這里原序列是上一步輸出的對話策略，目標序列則是系統的自然語言回復。該方法具有學習簡單，生成的語言自然、多樣等優點。
關于“笨笨”機器人的介紹
下面介紹一下我們實驗室研制的一個系統，叫“笨笨”。我們不敢叫“靈、百靈”，只能承認自己笨，進一步降低用戶的期望值。當用戶拿著一個手機以為什么都可以問的時候，他一定會失望。我們這個研究中心是哈工大社會計算與信息檢索研究中心，這是我們的公眾號，有上萬人關注。功能包括聊天、知識問答、任務執行、推薦。
生成式對話模型往往存在一個問題——語義相關性差。比如說問機器你今年多大了，回復說不知道。這里面產生問題的原因，從技術上講是生成話的第一個詞會產生概率很高的通用詞。比如“我”、“你”。
我們采用了專門的Learning to Start模型去生成，大家可以對比一下。
單輪對話也采用主題規劃的方式，進行兩階段的生成。先規劃，然后響應內容。
多輪對話是基于DQN進行。這個優化和任務執行的優化正好反過來。聊天的優化是要盡可能讓這個聊天能繼續下去，讓話題輪數更多。
下面是“笨笨”聊天的一些對話（見PPT），比較好玩，大家可以下去自己玩。
下面是知識問答。在各個具體的問題上，都在使用深度學習技術，知識問答方面也不例外。
這是任務執行的系統框架（見PPT）。在任務執行方面，哈工大最近也開發了一個系統，這個系統是一個平臺，各位可以在里面添加你的特定領域要解決的一些問題實例，添加若干實例之后，系統會幫你訓練出一個特別實用的場景任務執行系統。這個推薦也被嵌入到人機對話中，有些創業公司專門做人機對話領域的推薦。
在“笨笨”跟你聊天的過程中，可能跟你推薦產品，這就是營銷機器人。營銷機器人會先和你聊天，建立信任之后推薦產品。還有服務于售后的客服機器人。
人機對話評測介紹
最后講一下人機對話評測，任何一項技術要想進步，特別依賴于它的目標，就是怎么評測這項技術，這項技術到底是前進還是后退了。在人機對話方面的評測比問答系統難。問答系統是單輪的，我問毛澤東出生于哪一年。你答出的是準確答案，就算成功了。但是人機對話里，一輪過后，就會分岔，一旦分岔了就沒有辦法做標準答案進行評測。現在國內在這方面的處理也是評測驅動。哈工大也在主持若干評測。以前我們也參加過美國的一些評測，現在有一些在參加日本NTCIR的評測。我們的理念是中國人的評測要由中國人引導。
我們主持了首屆中文人機對話評測，由張偉男擔任主席。我們分兩個任務，一是用戶意圖分類，區分到底是聊天還是任務，如果是任務，到底想完成一個什么樣的任務。二是特定域任務型的人機對話評測。比如定機票，問兩句話，會出現分岔，很難展開評測。解決辦法是人工評測，先給一個問題的描述，讓人根據這個描述和不同的機器人進行對話，看看哪個機器人可以在最短的輪數內把這個問題解決掉。
國際上，2017年也在開始組織評測，在自然語言處理最前沿方面，國內學者和國際學者是齊頭并進的。在斯坦福主持的英文閱讀理解評測中，很多巨頭都有參加。排第一位的是微軟亞洲研究院，第二位是哈佛大學一個研究實驗室。即使在英文上，國內也并不落后。
未來的挑戰
最后概括，最主要的技術挑戰在兩方面。
一是聊天機器人未來有待解決的問題。我估計在座的各位沒有誰愿意和一個機器人持續聊超過一周。另外還有情感，對機器人說考試不及格，怎么分析是不是傷心的情緒，還有用戶畫像，回復質量，多樣性，個性化等的研究。機器人怎么主導話題，如何是讓機器人具有各種各樣的性格，為每一個用戶定制多個不同性格的機器人，包括在游戲世界里，讓機器人扮演一些角色，能和人對話。還有基于主題的上下文生成、基于用戶的情緒反饋。用戶一旦罵你或者不跟你聊了，說明你回答問題的不好。
二是任務執行中有待研究的問題。比如任務之間的切換，目前即使通過工程手段把一兩個場景做對了，擴展到其他地方還是很難。
什么時候人機對話才能取得真正的突破，主要取決于以下幾點：自然語音處理技術的突破、機器對情境理解的進展、機器推理能力的提升、文本生成技術的進步等。
人機對話是自然語言處理發展的一個高峰，它的發展和自然語言處理的發展是密不可分的。我認為自然語言處理有四個階段。從形式匹配到語義匹配，現在到文本推理，再下一步會到言外之意。一個小女孩對男朋友說“討厭”，這句話怎么理解，需要一些文化的背景。現在已經有人在研究隱喻這方面的工作。
最后介紹一下我們實驗室在布局的工作，研究方向如PPT所示。
我們實驗室有70多人的科研團隊，在LTP、句法分析方面我們始終保持國內甚至國際領先地位，前一段時間谷歌推動的45種語言通用句法分析評測，哈工大取得第四名的成績。很多企業在和哈工大合作，我們也希望能夠有機會和在座的其他企業建立更多的合作關系。
我今天的演講就到這里，謝謝大家！
雷鋒網整理。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
