0
| 本文作者： 三川 | 2016-11-18 18:49 |
DeepMind 最近的論文《非監(jiān)督輔助任務(wù)中的強(qiáng)化學(xué)習(xí)》（”REINFORCEMENT LEARNING WITH UNSUPERVISED AUXILIARY TASKS”）介紹了一種極大提高代理學(xué)習(xí)速度和最終成效的方法。研究人員通過讓代理在訓(xùn)練中執(zhí)行兩個附加任務(wù)，來對標(biāo)準(zhǔn)的深度強(qiáng)化學(xué)習(xí)方法進(jìn)行增強(qiáng)”
Deepmind 表示：“我們的目標(biāo)是開拓 AI 領(lǐng)域的最前沿，開發(fā)出能通過學(xué)習(xí)解決任何難題，而無須人類教它怎么做的程序。我們的強(qiáng)化學(xué)習(xí)代理（agent）已經(jīng)在圍棋和雅利達(dá) 2600 （Atari 2600, 1970年代的游戲主機(jī)）的游戲中有了重大突破。然而，這些游戲需要很多數(shù)據(jù)和很長的時間來學(xué)習(xí)。所以我們一直在尋找提高通用學(xué)習(xí)算法的途徑。”
DeepMind 代理在迷宮游戲中執(zhí)行搜索任務(wù)的演示如下圖：
第一個任務(wù)涉及，讓代理學(xué)習(xí)怎樣控制屏幕上的像素（通過移動看到不同的東西）。這強(qiáng)調(diào)了對迷宮游戲中“行動影響你所看到的東西”這一原則的學(xué)習(xí)，而不是僅僅做出預(yù)測。這類似于嬰兒學(xué)習(xí)控制他們手臂的過程：試圖移動雙手，觀察做出的動作，然后進(jìn)行調(diào)整。通過學(xué)習(xí)怎么移動來改變屏幕顯示的東西，DeepMind 代理學(xué)會了對玩這個游戲很有用的視覺輸入，并且拿到更高的得分。
在第二個任務(wù)中，代理被訓(xùn)練，怎樣從簡短的歷史背景中預(yù)測一系列即將獲得的獎勵。為了更好地處理這個情況。當(dāng)獎勵很少時，開發(fā)人員向代理按照同等的比例，展示過去獲得獎勵和沒有獲得獎勵的歷史。更高頻率地學(xué)習(xí)獎勵的歷史之后，這個代理能更快速地發(fā)現(xiàn)會帶來預(yù)期獎勵的視覺信號。
這兩個附加任務(wù)的組合，還有 DeepMind 之前的 A3C 研究成就了他們的全新“非監(jiān)督強(qiáng)化和附加學(xué)習(xí)代理”（UNREAL agent，UNsupervised REinforcement and Auxiliary Learning agent，下文簡稱 UNREAL 代理) 。DeepMind 在 57 個雅利達(dá)游戲，和一個 叫“迷宮”的 13 層 3D 環(huán)境中測試了這個代理。在所有的游戲中，基于原始圖像輸出， UNREAL 代理被用同樣的方式訓(xùn)練。目的是讓它做出使游戲得分和獎勵最大化的行動。
為獲得游戲獎勵而需要作出的行動很復(fù)雜，從撿起 3D 地圖中的蘋果到玩“外星入侵”（Space Invaders）。UNREAL 算法經(jīng)常學(xué)著玩這些游戲，學(xué)著學(xué)著就達(dá)到、甚至超越人類的水平。部分結(jié)果和可視化展示呈現(xiàn)在下面的視頻：
在“迷宮”游戲中，使用兩項(xiàng)附加任務(wù)（控制屏幕上像素和預(yù)測獎勵何時發(fā)生）的效果出奇的好。UNREAL 代理能夠以超出 DeepMind 現(xiàn)役最好的 A3C 代理十倍的速度學(xué)習(xí)，并且有遠(yuǎn)遠(yuǎn)更好得表現(xiàn) （游戲得分和獎勵）。Deepmind 的代理平均在每個迷宮層中達(dá)到人類專家水平的 87% ，并在一部分迷宮層中有超人類的水平。在雅利達(dá)游戲中，這個代理平均達(dá)到人類水的九倍。Deepmind 表示，他們希望這項(xiàng)研究能讓他們繼續(xù)提高代理的水平，讓它完成更的復(fù)雜任務(wù)。
附：有興趣的技術(shù)宅們請點(diǎn)此查看 DeepMind 論文原文 “REINFORCEMENT LEARNING WITH UNSUPERVISED AUXILIARY TASKS”。
via deepmind
【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。工作地點(diǎn)深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實(shí)習(xí)均可。
推薦閱讀：
Google Deepmind大神David Silver帶你認(rèn)識強(qiáng)化學(xué)習(xí)
AlphaGo 將在 2017 年重磅復(fù)出，業(yè)內(nèi)人士怎么看？
谷歌 DeepMind 宣布與暴雪合作，開發(fā)人工智能挑戰(zhàn)《星際爭霸》| 雷鋒早報(bào)
只訓(xùn)練一次數(shù)據(jù)就能識別出物體，谷歌全新 AI 算法“單次學(xué)習(xí)”
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
