0
雷鋒網(wǎng) AI 科技評論按：11 月 28 日，阿里巴巴宣布將旗下的大數(shù)據(jù)營銷平臺阿里媽媽的算法框架 X-Deep Learning（下文簡稱 XDL）進(jìn)行開源，其中，XDL 的面向高維稀疏數(shù)據(jù)場景、工業(yè)級分布式訓(xùn)練以及橋接多后端支持三大主要特點(diǎn)，更是引起了業(yè)界的廣泛關(guān)注。
12 月 21 日，阿里媽媽正式對 XDL 開源，雷鋒網(wǎng) AI 科技評論也借這一機(jī)會對阿里媽媽 XLD 團(tuán)隊(duì)進(jìn)行了采訪，來了解 XDL 研發(fā)背后的契機(jī)和技術(shù)積累、應(yīng)用場景、特點(diǎn)優(yōu)勢及未來規(guī)劃。
XDL 四位主要負(fù)責(zé)人：
靖世：研究員，阿里媽媽定向廣告技術(shù)團(tuán)隊(duì)負(fù)責(zé)人兼阿里媽媽算法平臺負(fù)責(zé)人
見獨(dú)：資深技術(shù)專家，阿里媽媽工程平臺技術(shù)負(fù)責(zé)人
懷人：資深算法專家，阿里媽媽算法平臺深度學(xué)習(xí)方向負(fù)責(zé)人兼定向廣告排序算法團(tuán)隊(duì)負(fù)責(zé)人
樂迪：資深技術(shù)專家，阿里媽媽大數(shù)據(jù)計(jì)算與機(jī)器學(xué)習(xí)平臺的工程架構(gòu)負(fù)責(zé)人
據(jù)悉，XDL 這一框架的研發(fā)萌芽于 2016 年年初，當(dāng)時(shí) XDL 團(tuán)隊(duì)就開始探索深度學(xué)習(xí)在廣告技術(shù)中端到端建模的方法，在這個(gè)過程中遇到的來自業(yè)務(wù)和技術(shù)方面的挑戰(zhàn)，則促成了 XDL 研發(fā)。
在采訪中，XDL 團(tuán)隊(duì)透露，在阿里發(fā)布開源 XDL 這一消息后，就有超過十家以上的大中型公司向阿里媽媽團(tuán)隊(duì)表達(dá)了它們的需求，這無疑大大也大大增強(qiáng)了團(tuán)隊(duì)對于這一框架的信心。采訪最后，他們還表達(dá)了對 XDL 的愿景：「希望在國內(nèi)的推薦、搜索、廣告領(lǐng)域，XDL 是深度學(xué)習(xí)框架最主流的選擇。」
1.這一框架是從什么時(shí)候開始進(jìn)行研發(fā)的？基于怎樣的契機(jī)和阿里已有的技術(shù)積累？
XDL 是從 2016 年中期開始研發(fā)的。不過實(shí)際上，早在 2016 年初的時(shí)候，我們就在探討深度學(xué)習(xí)在廣告技術(shù)的發(fā)展方向，并在當(dāng)時(shí)提出了面向核心的點(diǎn)擊率（CTR）預(yù)估建模的 Deep Interest Network 算法雛形；2016 年年中，我們啟動了第一個(gè)基于深度學(xué)習(xí)的端到端 CTR 模型的研發(fā)，并且希望不只是采用 Embedding+MLP 這樣的簡單架構(gòu)，而是實(shí)現(xiàn)深度學(xué)習(xí)模型更靈活多樣的創(chuàng)新迭代。這是 XDL 項(xiàng)目啟動前的一個(gè)大背景。
具體來說，XDL 的研發(fā)主要受業(yè)務(wù)和技術(shù)兩個(gè)層面的驅(qū)動，這也是該項(xiàng)目啟動的契機(jī)：
一方面是業(yè)務(wù)場景對深度學(xué)習(xí)提出了更高的要求。在淘寶這樣的電商場景下，數(shù)據(jù)具有高維稀疏的特點(diǎn)，比如在淘寶上的一個(gè)用戶對應(yīng)一個(gè)商品，二者間的樣本非常稀疏，因而給數(shù)據(jù)表示、組織以及傳輸、計(jì)算帶來了極大的挑戰(zhàn)。一開始，我們也曾嘗試過使用 TensorFlow 來構(gòu)建技術(shù)框架來解決這一問題，但實(shí)踐后很快得出結(jié)論，單純使用 TensorFlow 很難解決阿里媽媽面對的問題。
另一方面則是技術(shù)的變革驅(qū)動了我們在該技術(shù)領(lǐng)域的研究。隨著深度學(xué)習(xí)的發(fā)展，其網(wǎng)絡(luò)結(jié)構(gòu)變得特別復(fù)雜，我們認(rèn)為這種復(fù)雜的復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)的迭代、優(yōu)化的效率，在硬件和軟件層面都有很大的提升空間。
XDL 研發(fā)前，阿里主要有兩個(gè)技術(shù)積累：一是阿里媽媽事業(yè)部牽頭做的阿里巴巴最早一代的基于MPI 協(xié)議搭建的分布式機(jī)器學(xué)習(xí)平臺，其中實(shí)現(xiàn)了邏輯回歸、MLR、GBDT 等一系列大規(guī)模并行算法；另一個(gè)是阿里巴巴內(nèi)部之前啟動的圖像深度學(xué)習(xí)項(xiàng)目，做了一個(gè)類似分層的深度學(xué)習(xí)端到端的框架，但是由于這個(gè)框架跟 Caffe 的功能有較大重合，因此沒有對其進(jìn)行開源，而之后我們也發(fā)現(xiàn)它對業(yè)界可能并沒有那么大的增量，因而只在內(nèi)部進(jìn)行使用，最后也轉(zhuǎn)向其他框架的研發(fā)了。
2. 研發(fā)至今，經(jīng)歷了哪些比較大的迭代？
現(xiàn)在開源的 XDL 已經(jīng)經(jīng)歷了三次迭代。第一個(gè)版本是由算法團(tuán)隊(duì)主導(dǎo)的，第二個(gè)版本則是由引擎工程團(tuán)隊(duì)主導(dǎo)，現(xiàn)在的第三個(gè)版本是由工程團(tuán)隊(duì)和算法團(tuán)隊(duì)合作迭代的。
3. XDL 目前用在阿里的哪些業(yè)務(wù)場景？未來是否會考慮將這一框架應(yīng)用到其他場景？
XDL 作為阿里媽媽的一個(gè)橫向的機(jī)器學(xué)習(xí)平臺，在支撐阿里巴巴的各項(xiàng)業(yè)務(wù)，目前應(yīng)用最多的是阿里媽媽的定向廣告，包括展示廣告和信息流廣告，在這個(gè)典型應(yīng)用場景中，每天支撐大約 100 個(gè)模型的生產(chǎn)化訓(xùn)練。
將這一框架應(yīng)用到更多的其他場景中，也是我們對 XDL 進(jìn)行開源的初衷。我們認(rèn)為在廣告、推薦、搜索等互聯(lián)網(wǎng)業(yè)務(wù)中，在目前業(yè)內(nèi)已有的框架基礎(chǔ)上去搭建一個(gè)深度學(xué)習(xí)平臺還有很多工作要做，包括結(jié)構(gòu)化數(shù)據(jù)處理、模型結(jié)構(gòu)的創(chuàng)新研發(fā)等，但是如果不只是遵循谷歌、Facebook 等國外公司的網(wǎng)絡(luò)結(jié)構(gòu)的話，就對框架及框架邊界提出了更高的要求。因此，我們將結(jié)構(gòu)化數(shù)據(jù)處理以及模型分布式計(jì)算等與傳統(tǒng)結(jié)構(gòu)不一樣的經(jīng)驗(yàn)沉淀下來，從算法包到底層計(jì)算框架賦能企業(yè)，使其在自己的業(yè)務(wù)上進(jìn)行更好的迭代。
后期我們也會開放一些工業(yè)界的數(shù)據(jù)集，讓研究者也能以這些技術(shù)和數(shù)據(jù)集為基礎(chǔ)，進(jìn)行獨(dú)立的創(chuàng)新研發(fā)。
4.相較于目前兩大深度學(xué)習(xí)開源框架 TensorFlow 和 PyTorch 來說，XDL 獨(dú)有的特色和產(chǎn)品優(yōu)勢集中體現(xiàn)在哪些方面？
相較于目前兩大深度學(xué)習(xí)開源框架 TensorFlow 和 PyTorch 來說，XDL 的特色和產(chǎn)品優(yōu)勢集中體現(xiàn)兩個(gè)方面：
第一，XDL 面向超大規(guī)模高維稀疏特征的深度學(xué)習(xí)進(jìn)行了分布式運(yùn)行時(shí)的設(shè)計(jì)與優(yōu)化，這個(gè)對推薦、搜索、廣告等互聯(lián)網(wǎng)場景的工業(yè)化應(yīng)用至關(guān)重要，而 TensorFlow、PyTorch 等開源深度學(xué)習(xí)框架更多的是面向圖像、視頻、語音等低維稠密數(shù)據(jù)場景進(jìn)行了優(yōu)化。 例如，XDL 針對推薦、搜索、廣告等場景的訓(xùn)練方式獨(dú)創(chuàng)了結(jié)構(gòu)化壓縮、高階模型嵌套訓(xùn)練等范式，對大規(guī)模深度網(wǎng)絡(luò)的存儲、通信、計(jì)算等有一個(gè)數(shù)量級以上的效率提升。
第二，XDL 不僅僅只是一個(gè)訓(xùn)練框架，我們開源的是面向高維稀疏數(shù)據(jù)場景的完整解決方案，尤其是一系列在阿里媽媽的核心業(yè)務(wù)場景經(jīng)過生產(chǎn)驗(yàn)證的算法模型，這對于推薦、搜索、廣告等領(lǐng)域從業(yè)者來說，有極高的參考價(jià)值，可以幫助這個(gè)行業(yè)的很多團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)的跨越式前進(jìn)。
5.在具體的應(yīng)用上，XDL 的性能達(dá)到了什么程度，是否有針對 TensorFlow、PyTorch 的「槽點(diǎn)」進(jìn)行更深層次的優(yōu)化？
由于 XDL 主要針對推薦、搜索、廣告這些場景，因此我們會重點(diǎn)考量 XDL 在這些高維稀疏場景下的性能，我主要從三個(gè)層面來講：
第一個(gè)是從分布式水平擴(kuò)展能力來看，TensorFlow、PyTorch 等適用于低維稠密數(shù)據(jù)的框架在機(jī)器并行度增加時(shí)，其性能無法實(shí)現(xiàn)較好的提升，例如 TensorFlow 在并發(fā)度達(dá)到百以上時(shí)，很難再通過增加更多的計(jì)算資源來提升整體的訓(xùn)練吞吐率，而 XDL 在千級別的并發(fā)度上，也能實(shí)現(xiàn)線性的提升。
第二個(gè)是從支持的特征和參數(shù)的規(guī)模來看，XDL 支持模型的規(guī)模和參數(shù)比傳統(tǒng)情況下有所提升，XDL 可以支持千億參數(shù)的大規(guī)模深度學(xué)習(xí)模型訓(xùn)練，包括批量訓(xùn)練模式和在線訓(xùn)練模式。
第三個(gè)是從實(shí)際運(yùn)行的性能來看，在高維稀疏分布式訓(xùn)練下，XDL 大部分模型比開源的 TensorFlow 模型整體高出十倍以上的一個(gè)量級。
6.開源之后，主要的用戶群體是哪些人？這一框架又是怎樣滿足不同領(lǐng)域的用戶需求的？
我們在 11 月 28 號發(fā)布了開源計(jì)劃后，就有超過十家以上的大中型公司向我們表達(dá)了需求，這是因?yàn)槲覀儗?XDL 定義為一個(gè)偏向企業(yè)級用戶的框架，包括 XDL 所面向的高維稀疏場景以及推薦、搜索、廣告這三個(gè)互聯(lián)網(wǎng)最核心的典型場景，因此我們會在 To B 這個(gè)方向上有較大的著力點(diǎn)。
在滿足不同領(lǐng)域的用戶需求方面，首先，由于 XDL 本身帶有很強(qiáng)的歸屬性，它跟 TensorFlow 等通用開源框架不太一樣。一方面非企業(yè)級用戶并不需要處理太多的工業(yè)場景數(shù)據(jù)，XDL 對他們的必要性不是很多；另一方面，在工業(yè)場景下，XDL 除了考慮訓(xùn)練框架本身的基礎(chǔ)屬性，還需要考慮怎么跟生產(chǎn)系統(tǒng)耦合、怎么訪問和調(diào)度嵌入數(shù)據(jù)、數(shù)據(jù)訓(xùn)練后又怎樣將模型發(fā)布到生產(chǎn)系統(tǒng)中等等一系列問題。對此，我們給出的其實(shí)是一整套解決方案。當(dāng)然，這套方案并不能覆蓋所有用戶的需求，我們之所以開源，也是希望以生態(tài)化的開放方式，來讓業(yè)界共同發(fā)展這個(gè)領(lǐng)域。
另外從業(yè)務(wù)價(jià)值上講，推薦、搜索、廣告三大場景已是互聯(lián)網(wǎng)信息爆炸時(shí)代的一個(gè)「標(biāo)配」，因?yàn)檫@些場景足夠大且足夠有特點(diǎn)，而阿里媽媽又正好覆蓋了這些場景，從業(yè)務(wù)場景到整個(gè)解決方案，有助于實(shí)際解決各種各樣的技術(shù)挑戰(zhàn)。
7. 對這一框架未來的發(fā)展有怎樣的愿景？
希望在國內(nèi)的推薦、搜索、廣告領(lǐng)域，XDL 是深度學(xué)習(xí)框架最主流的選擇。
8.目前 TensorFlow 和 PyTorch 的用戶群體已經(jīng)很大了，你們認(rèn)為 XDL 的未來地位能否與二者并肩，又打算如何推廣 XDL？
XDL 確實(shí)對 TensorFlow 和 PyTorch 的一些能力進(jìn)行了擴(kuò)展，我們也希望能在推薦、搜索、廣告領(lǐng)域建立一個(gè)龐大的技術(shù)生態(tài)去與 PyTorch 和 TensorFlow 比肩，但目前還處于邁向這個(gè)目標(biāo)的重要階段。當(dāng)下，我們主要還是比較務(wù)實(shí)地將一些技術(shù)成果公布出來，按照我們認(rèn)為對的方向以及業(yè)界的需求，希望能夠填補(bǔ)在搜索、推薦、廣告等高維稀疏場景的技術(shù)真空，至于最終能否實(shí)現(xiàn) TensorFlow 和 PyTorch 這樣的生態(tài)級別，需要我們和業(yè)界的共同努力。
9. 接下來是否會投入專門的團(tuán)隊(duì)對這一框架進(jìn)行維護(hù)和更新？有哪些更新計(jì)劃？
一方面，這個(gè)框架進(jìn)行開源后，一定會有很多人在使用過程中遇到一些問題或者需要我們幫助的地方，我們這邊會有專門的團(tuán)隊(duì)來負(fù)責(zé)對用戶反饋的 bug 等整個(gè)社區(qū)的問題進(jìn)行解答，社區(qū)建設(shè)是我們非常看重的一個(gè)方面。
另一方面，針對對我們這個(gè)框架有迫切需求的公司，我們之后也會組織一些類似 workshop 這樣的會議和活動，來與他們進(jìn)行面對面的交流。同時(shí)，我們還會有針對性地挑選出一些合作伙伴，以重點(diǎn)貼身服務(wù)的方式幫助其完成初期的全鏈路系統(tǒng)建設(shè)，并從它們的視角去考量用戶使用等方面的需求。
除此之外，我們還會結(jié)合阿里內(nèi)部其他團(tuán)隊(duì)的力量，來將這件事情做起來。至于之后的發(fā)展方向和更新規(guī)劃，還需要我們團(tuán)隊(duì)進(jìn)行討論后才能正式公布。
109. 是否會考慮借用社區(qū)的形式，和開發(fā)者一起去維護(hù)這個(gè)框架？
當(dāng)然會，因?yàn)槲覀兿Ｍo用戶帶來價(jià)值，我主要從以下三個(gè)層面來談一下：
第一個(gè)層面是底層設(shè)計(jì)上的橋接兼容，可以讓用戶直接使用自己熟悉的編程方式就可以獲得 XDL 的結(jié)構(gòu)化數(shù)據(jù)的分布式建模能力以及大規(guī)模稀疏數(shù)據(jù)的計(jì)算能力；
第二個(gè)我們將 XDL 進(jìn)行開源，也是希望讓用戶（有能力的情況下）可以在框架中自行改動，而不是僅僅給他們一個(gè) API 接口，讓他們在云上跑一跑；
第三個(gè)是我們也在框架中直接給了算法模板，展示了我們自己如何使用框架設(shè)計(jì)相關(guān)算法。
XDL 目前已在 Github 社區(qū)開放，大家可前往以下地址獲取：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
