AAAI 2018入選論文——關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的最新研究 | 分享總結(jié)

雷鋒網(wǎng)AI科技評論按：以 Facebook、Twitter、微信和微博為代表的大型社交網(wǎng)絡(luò)的快速發(fā)展，產(chǎn)生了海量體現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)。如何用合理的方式表示這些數(shù)據(jù)是網(wǎng)絡(luò)挖掘的關(guān)鍵問題，本文探討的就是網(wǎng)絡(luò)的表示學(xué)習(xí)問題。

在近期雷鋒網(wǎng) GAIR 大講堂舉辦的一期關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的直播中，來自浙江大學(xué)本科三年級的馮瑞同學(xué)講解了關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的相關(guān)知識，以及他最新入選 AAAI 2018 的一篇論文的主要內(nèi)容。本文根據(jù)馮瑞同學(xué)的直播分享整理記錄，有刪減，推薦大家觀看 GAIR 大講堂提供的視頻回放。

馮瑞，浙江大學(xué)本科三年級，ZJU DCD 實(shí)驗(yàn)室實(shí)習(xí)。AAAI 2018 入選論文一作。

分享主題：網(wǎng)絡(luò)的學(xué)習(xí)表示

分享提綱：

• 網(wǎng)絡(luò)的表示學(xué)習(xí)問題和經(jīng)典算法介紹

• 歐式空間中保持無標(biāo)度特性的可能性

• 針對無標(biāo)度網(wǎng)絡(luò)表示學(xué)習(xí)的優(yōu)化策略

• 可保持時(shí)序信息的網(wǎng)絡(luò)表示學(xué)習(xí)模型

社交網(wǎng)絡(luò)中的表示學(xué)習(xí)

如何用合理的方式表示數(shù)據(jù)是網(wǎng)絡(luò)挖掘的關(guān)鍵問題，表示學(xué)習(xí)的目的是為網(wǎng)絡(luò)中的每一個(gè)節(jié)點(diǎn)分配一個(gè)某個(gè)線性空間中（比如歐式空間）的向量，使得這些向量能夠保持原來網(wǎng)絡(luò)的結(jié)構(gòu)信息。接下來的分享內(nèi)容討論表示學(xué)習(xí)的諸多問題，比如在歐式空間中的無標(biāo)度網(wǎng)絡(luò)的表示學(xué)習(xí)，討論是否保持網(wǎng)絡(luò)的無標(biāo)度特性，并對此優(yōu)化以提高向量的表示能力。我們同時(shí)還討論如何處理網(wǎng)絡(luò)時(shí)序序列，使得表示向量能夠保持時(shí)序信息。

什么是圖嵌入

圖嵌入是給圖中的點(diǎn)找到一個(gè)映射，給每一個(gè)點(diǎn)分配一個(gè)向量表示。

圖嵌入的應(yīng)用

網(wǎng)絡(luò)挖掘里經(jīng)常會(huì)用到這項(xiàng)技術(shù)進(jìn)行邊的預(yù)測，節(jié)點(diǎn)的聚類，節(jié)點(diǎn)的分類。

關(guān)于社交網(wǎng)絡(luò)的表示學(xué)習(xí)

社交網(wǎng)絡(luò)最主要的特性是它是一個(gè)動(dòng)態(tài)網(wǎng)絡(luò)。社交網(wǎng)絡(luò)是一個(gè)不斷演進(jìn)的過程，或者稱為網(wǎng)絡(luò)的時(shí)間序列。如果只看某一個(gè)時(shí)間的靜態(tài)網(wǎng)絡(luò)是不能反映全部的網(wǎng)絡(luò)信息的。

接下來介紹這個(gè)模型就是解決這個(gè)問題，怎么把持續(xù)的信息加入到圖嵌入中。它能反映用戶之間的交互，信息傳遞的過程，用戶之間的關(guān)系等特征。

復(fù)雜網(wǎng)絡(luò)的另一個(gè)特征是它是一個(gè)無標(biāo)度（scale-free)網(wǎng)絡(luò)。關(guān)于無標(biāo)度網(wǎng)絡(luò)的介紹可以觀看視頻。

第一個(gè)模型是Dynamic Network embedding。下面是A和B的拓?fù)涮卣鲌D。從圖中，連接A的幾個(gè)節(jié)點(diǎn)，相互之間也有了連接，可以看出A的影響力比B大。

上圖中的演變過程是閉三角形過程。開三角形演變?yōu)殚]三角形取決于K的影響力。

同時(shí)有多個(gè)開三角形演變?yōu)殚]三角形的概率如何計(jì)算。

模型訓(xùn)練過程

關(guān)于應(yīng)用

分別在移動(dòng)網(wǎng)絡(luò)，學(xué)術(shù)網(wǎng)絡(luò)，服務(wù)器網(wǎng)絡(luò)上進(jìn)行了應(yīng)用。在移動(dòng)網(wǎng)絡(luò)上判斷是否電信欺詐，在網(wǎng)貸網(wǎng)絡(luò)上判斷用戶是否還錢，在服務(wù)器網(wǎng)路上判斷網(wǎng)絡(luò)是否會(huì)崩潰。

網(wǎng)絡(luò)重建和邊預(yù)測

網(wǎng)絡(luò)重建是給兩個(gè)節(jié)點(diǎn)去預(yù)測兩個(gè)節(jié)點(diǎn)間是否有條邊。邊預(yù)測是看是否能預(yù)測在未來某個(gè)時(shí)間是否出現(xiàn)一條邊。

實(shí)驗(yàn)同時(shí)，使用了四個(gè)模型對照，Deepwork，TNE(Temporal Network Embedding) ，Node2vec，Dynamic Triad模型對照。

實(shí)驗(yàn)結(jié)果

下面來看無標(biāo)度網(wǎng)絡(luò)的表示學(xué)習(xí)

無標(biāo)度網(wǎng)絡(luò)的性質(zhì)

上圖中（a）表示原來網(wǎng)絡(luò)的度分布，（b）的算法高估網(wǎng)絡(luò)度比較高的點(diǎn)的概率，（c）是我們模型得到優(yōu)化后的效果。

理論分析（更多詳情請觀看GAIR大講堂視頻回放）

論文中的解決方案

網(wǎng)絡(luò)映射方法要保持一度和二度臨近。如果兩個(gè)節(jié)點(diǎn)有邊就是一度臨近。兩個(gè)節(jié)點(diǎn)有很多公共鄰節(jié)點(diǎn)成為二度臨近。一個(gè)節(jié)點(diǎn)如果度很高的話，需要懲罰相鄰節(jié)點(diǎn)的相似度。

兩個(gè)模型，第一個(gè)是DP-Spectral（degree penalty based spectral embedding ），基于光譜嵌入的度懲罰。

第二個(gè)是DP-Walker,（Degree Penalty based Random Walk）基于隨機(jī)游動(dòng)的度懲罰。

基于以上，無標(biāo)度網(wǎng)絡(luò)結(jié)構(gòu)重建和邊預(yù)測都取得了很好的試驗(yàn)效果。更多詳情請觀看GAIR大講堂視頻回放。

雷鋒網(wǎng)提醒大家，如果不想在第一時(shí)間錯(cuò)過免費(fèi)直播課程，歡迎關(guān)注【AI科技評論】公眾號。我們將會(huì)選出幸運(yùn)讀者，不定期有重大驚喜和福利等待大家。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。