模型web遷移延時(shí)太長(zhǎng)，機(jī)器學(xué)習(xí)神器Cortex 能一鍵解決嗎？

本文作者：蔣寶尚

2020-02-06 17:54

導(dǎo)語：各種改進(jìn)，提高用戶體驗(yàn)。

機(jī)器學(xué)習(xí)算法部署平臺(tái)Cortex宣布推出 Cortex V0.13 。

據(jù)介紹，這次的Cortex v0.13支持了所有的主要機(jī)器學(xué)習(xí)框架。

Cortex作為一款為生產(chǎn)Web服務(wù)的工具，能夠和AWS服務(wù)結(jié)合起來，重點(diǎn)解決jupyter notebook到生產(chǎn)的缺乏基礎(chǔ)框架的問題。

當(dāng)前的TensorFlow，PyTorch或者其他機(jī)器學(xué)習(xí)框架需要的技能與處理Docker、Kubernetes、NVIDIA驅(qū)動(dòng)程序的技能并不兼容。也就是說機(jī)器學(xué)習(xí)模型從筆記本遷移到云上面可能需要花費(fèi)數(shù)周的時(shí)間。

這種延遲往往導(dǎo)致大量的計(jì)算資源產(chǎn)生浪費(fèi)，并且用戶體驗(yàn)有很高的提升空間。而Cortex v0.13提供了大量新特性，提升了使用體驗(yàn)，能夠更方便快捷地將機(jī)器學(xué)習(xí)模型預(yù)測(cè)作為網(wǎng)絡(luò)服務(wù)部署到生產(chǎn)流程中。

具體而言，此次的Cortex v0.13改進(jìn)了自動(dòng)擴(kuò)展、多框架支持、CPU/GPU支持、預(yù)測(cè)監(jiān)測(cè)、最小化的聲明式配置、滾動(dòng)更新、日志流等功能。

自動(dòng)擴(kuò)展：Cortex能夠自動(dòng)調(diào)整API，已處理生產(chǎn)環(huán)境下的工作負(fù)載，避免高延遲，減少AWS賬單；

多框架支持：Cortex廣泛支持TensorFlow,Keras, PyTorch, Scikit-learn, XGBoost的多個(gè)機(jī)器學(xué)習(xí)框架；

CPU/GPU支持：Cortex可在CPU或GPU基礎(chǔ)設(shè)施上運(yùn)行推理任務(wù)；

滾動(dòng)更新：直接將更新應(yīng)用在API上，輕松將Web服務(wù)過渡到新模型，不會(huì)產(chǎn)生延遲；

日志流：可以Cortex中實(shí)時(shí)查看日志，從而幫助簡(jiǎn)化流程；預(yù)測(cè)監(jiān)測(cè)：可檢測(cè)網(wǎng)絡(luò)量度，并追蹤預(yù)測(cè)結(jié)果；

Spot 實(shí)例：能夠享受最高的折扣；

最小化配置：部署配置僅由一個(gè)cortex.yaml文件定義。

總的來說，整個(gè)Cortex采用TensorFlow，Kubernetes和Docker等開源工具，并將它們與CloudWatch等AWS服務(wù)相結(jié)合，能夠?yàn)殚_發(fā)人員提供了一個(gè)API來部署其模型；然后，將模型集裝箱化，然后將其部署到幕后的Kubernetes上，Cortex會(huì)自動(dòng)擴(kuò)展工作量，如果計(jì)算量很大，可以切換到GPU。