ICLR 2018 | Uber AI實驗室提出： 測量目標(biāo)空間的固有維度

雷鋒網(wǎng)按：本文由雷鋒字幕組編譯，原標(biāo)題 Measuring the Intrinsic Dimension of Objective Landscapes，作者為 Uber AI Labs。

翻譯 | 宥佑  余杭    整理 |  凡江

Uber研究團(tuán)隊在 ICLR 2018 上展示了這篇「 測量目標(biāo)空間的固有維度 」，研究試圖提出一種測量基本網(wǎng)絡(luò)屬性的簡單方法，被稱為“固有維度”。

下面的視頻總結(jié)Uber的方法和發(fā)現(xiàn)：

過去十年來，神經(jīng)網(wǎng)絡(luò)徹底改變了機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)從一個相對晦澀的學(xué)術(shù)研究領(lǐng)域崛起成為工業(yè)支柱，在大量數(shù)據(jù)可用的地方為眾多應(yīng)用提供支持。Uber 將神經(jīng)網(wǎng)絡(luò)用于多種應(yīng)用，建立基于計算機(jī)視覺模型的世界地圖、使用自然語言理解實現(xiàn)更快的消費者反映、通過對騎手需求模式進(jìn)行建模來縮短等待時間。

在許多情況下，最成功的神經(jīng)網(wǎng)絡(luò)采用大量參數(shù)，從幾百萬到幾億甚至更多 ，以實現(xiàn)最佳性能。更令人興奮的是，這些龐大的網(wǎng)絡(luò)通常運作得很好，無論他們的任務(wù)如何，都能有較好的表現(xiàn)。但是這樣的模型基本上是復(fù)雜的系統(tǒng)，無需人工干預(yù)就可以學(xué)習(xí)大量的參數(shù)，因此易于理解。盡管如此，仍然需要進(jìn)一步理解網(wǎng)絡(luò)行為，因為隨著網(wǎng)絡(luò)對社會的影響越來越大，理解其運作變得越來越重要，更好地理解網(wǎng)絡(luò)機(jī)制和屬性將加速下一代模型的構(gòu)建。

Uber研究團(tuán)隊的這篇「測量目標(biāo)空間的固有維度 」已經(jīng)在ICLR 2018上展示了，研究試圖提出一種測量基本網(wǎng)絡(luò)屬性的簡單方法，被稱為“固有維度”。他們提出，將固有維度作為模型復(fù)雜度的量化方式，并與其原始參數(shù)量相分離。與此同時，提供了一種使用隨機(jī)投影來測量此維度的簡單方法，發(fā)現(xiàn)很多問題的固有維度都比人們想象得要小。通過使用固有維度來比較跨域問題，例如，解決倒立擺問題比MNIST分類數(shù)字要容易100倍，利用像素玩 Atari Pong（雅達(dá)利游戲） 和分類 CIFAR-10 一樣難。

論文參考：https://eng.uber.com/intrinsic-dimension/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。