0
| 本文作者： AI科技評論 | 2016-06-03 17:23 |
圖片來源：inteligencia
編者按：機器智能研究院（MIRI）的研究宗旨是，確保比人類更加智能的機器系統會帶來積極影響，研究領域包括：可靠的代理設計，如何設計可靠的AI系統執行人類交給它的任務；價值學習，如何設計學習系統，讓系統能夠學會人類的價值觀；錯誤包容，如何設計配合人類操作員的系統，能夠包容程序員不可避免的錯誤。
MIRI的研究人員來自全球頂尖大學及企業，《人工智能：現代方法》的聯合作者Stuart Russel教授擔任其研究顧問。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都將參加雷鋒網在深圳舉辦的人工智能與機器人峰會。
谷歌DeepMind研究科學家Laurent Orseau和牛津大學研究副教授、機器智能研究院（MIRI）Stuart Armstrong博士共同發表了一篇新論文，探討包容錯誤的智能代理設計。論文《可安全干預的智能代理》將于本月底在紐約的第32屆“人工智能中的不確定性”大會上呈現。論文摘要如下：
“強化學習中的智能代理在與復雜環境（例如真實世界）互動時，不可能永遠都在最佳狀態上。如果代理在人類的監督下進行實時操作，系統會時不時地需要人類來按下暫停鍵，防止代理持續進行一系列有害的行為——對代理或對環境有害的行為——并由人類來將代理帶往安全的環境。然而，如果學習中的代理期望從原本要執行的行為中獲得獎勵，長此以往，它可能會學會避免此類的人類干預，例如，代理會讓暫停鍵失效——這是我們不想要的結果。
這篇論文探索了一種方法，可以確保代理不會學會如何避免（或尋求）環境或者人類操作員對其進行干預。我們提供了安全干預的定義，探索了無監管下的學習特性，并證明有些代理已經可以安全地進行干預，例如Q-learning，或者可以簡單轉變為可安全干預的代理，例如Sarsa。我們的結論是，即便是理想的、不可計算的強化學習代理，在總體可計算的（決定論的）環境中，也可以轉變為可安全干預的代理。”
Orseau和Armstrong的論文為解決矯正問題帶來了一個新的視角?？沙C正的代理指的是，能夠識別到自身有缺陷、或者正在開發中的代理，并能幫助其操作員進行維護、改善或者自我替換，而不是抗拒這些操作。
在強人工智能系統中，矯正主要是為了在系統終極目標不正確的時候，避免不安全的收斂工具性政策（例如，保護其當前的目標系統未來不受修改影響的政策）。這讓我們能夠實施基于試錯和學習的恰當方法，來解決AI價值規范的問題。
干預是為了讓直覺性的矯正概念形式化。例如，“無關用途”是過往對另一種矯正的定義：系統不介意程序員修改其終極目標，因此能避免強迫程序員進行修改、或避免修改。而“可安全干預的代理”則試圖定義另一種系統，不介意程序員修改其政策，不會阻止程序員干預它們的日常行為（也不會強迫程序員去干預）。
這樣做的目標是，讓代理認為沒有未來干預時選擇最優的政策。即便代理過去經歷過干預，也會好像未來不會有任何干預一樣行動。Orseau和Armstrong在論文中讓我們看到，若干類型的代理是可以安全干預的，或者可以簡單轉變為可安全干預的代理。
點擊鏈接下載Orseau和Armstrong的論文全文。
VIA MIRI
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
