AiRiA研究院公布“普惠AI，芯向邊緣”戰(zhàn)略，量化神經(jīng)處理器Watt A1今年四季度流片

近年來，在萬物智聯(lián)的趨勢下，物聯(lián)網(wǎng)產(chǎn)業(yè)從概念炒作進(jìn)入加速落地的實(shí)質(zhì)性階段，端側(cè)數(shù)據(jù)處理能力與云端數(shù)據(jù)處理能力已變的同等重要，而AI芯片從“云端”走向“邊緣”已呈現(xiàn)出不可逆的趨勢。

不久前，中國科學(xué)院自動化研究所南京人工智能芯片創(chuàng)新研究院（AiRiA研究院）舉辦戰(zhàn)略發(fā)布會，公布了其“普惠AI，芯向邊緣”戰(zhàn)略。同時，AiRiA研究院、賽格導(dǎo)航和高新興物聯(lián)完成了三方戰(zhàn)略合作簽約儀式，三方將共推出基于低成本芯片的自動駕駛算法解決方案。

會上，AiRiA研究院常務(wù)副院長程健透露，該團(tuán)隊自主設(shè)計的量化神經(jīng)處理器（QNPU）定名為“Watt A1”，將在今年流片，預(yù)計可能在9~10月實(shí)現(xiàn)。活動現(xiàn)場還展出了AiRiA研究院的Q-box、Q-Engine等多項成果。會后，雷鋒網(wǎng)與AiRiA研究院常務(wù)副院長程健和AiRiA研究院副院長冷聰進(jìn)行了進(jìn)一步交流。

普惠AI，進(jìn)軍邊緣端訓(xùn)練

AiRiA研究院成立于2017年9月，依托中國科學(xué)院自動化研究所和南京市麒麟科技創(chuàng)新園，由中國科學(xué)院自動化研究所負(fù)責(zé)運(yùn)營管理。

據(jù)介紹，AiRiA研究院的愿景是普惠AI，基于20余年技術(shù)積累，從軟（核心智能算法）、硬（AI芯片）兩方面進(jìn)行布局，以期達(dá)到低功耗和高效性能，為各行各業(yè)創(chuàng)新科技賦能。

物聯(lián)網(wǎng)時代，消費(fèi)者對身邊事物（端側(cè)）智能化的期待越來越高，各行各業(yè)對AI的需求呈現(xiàn)爆發(fā)式增長。比如在自動駕駛、安防、工業(yè)機(jī)器人等場景中。然而，AI能力需求上升之際，其作為一項賦能各個行業(yè)的通用技術(shù)，卻遲遲未能普及。

AI芯片走過云端訓(xùn)練、云端推理、邊緣端推理后，正在對邊緣端訓(xùn)練產(chǎn)生新的訴求。目前邊緣端訓(xùn)練幾乎空白，Watt的定位正是面向邊緣計算的AI芯片，QNPU能在功耗、成本等受限的情況下保持高性能。

“研究院將一系列產(chǎn)品命名為Q，這是因為研究院的產(chǎn)品主要采用量化技術(shù)。這項技術(shù)具有低功耗和較高計算性能表現(xiàn)的特點(diǎn)，可以滿足邊緣計算對AI芯片有低成本、低功耗、低延時的要求。”冷聰表示，QNPU架構(gòu)具有低位寬、計算架構(gòu)和算子融合三大優(yōu)勢。其中的一大創(chuàng)新是將乘法全部用移位操作來替代，盡量減少對存儲的訪問，進(jìn)一步降低功耗和時間。

Watt A1采用臺積電28nm工藝，峰值算力達(dá)24Tops，幀效比達(dá)到6Tops/W，支持1080P四路視頻實(shí)時檢測，MobileNet圖像分類達(dá)每秒8000幀。該芯片采用量化模型壓縮技術(shù)，計算被極大程度簡化，實(shí)現(xiàn)了完整片內(nèi)計算，打破了內(nèi)存墻瓶頸，將功耗和成本顯著降低。

此外，程健還向雷鋒網(wǎng)介紹道，QNPU可以做到在片上處理大規(guī)模神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)計算在片內(nèi)處理，不必反復(fù)訪問外部存儲器，這避免了芯片計算領(lǐng)域備受關(guān)注的“內(nèi)存墻”難題，可以大幅減少芯片自身的功耗，提高推理速度。

片內(nèi)數(shù)據(jù)處理可以省卻大量外部存儲，將進(jìn)一步縮小芯片的面積，所以該芯片流片后面積會相當(dāng)小。“如此設(shè)計，功耗和成本都保持很低，計算能力依然保持較高，因此QNPU非常適合邊緣計算對低功耗、低時延的計算場景。”程健說道。

據(jù)悉，QNPU的下一步計劃就是向邊緣端訓(xùn)練進(jìn)發(fā)，然后實(shí)現(xiàn)“自主進(jìn)化”的目標(biāo)。

全棧式解決方案

除Watt A1芯片外，AiRiA研究院還推出了模型壓縮工具QTrainer和深度學(xué)習(xí)推理引擎QEngine。

QTrainer通過低比特量化和剪枝在實(shí)現(xiàn)壓縮功能的同時保持較高性能表現(xiàn)，支持客戶開發(fā)自定義應(yīng)用。

冷聰對雷鋒網(wǎng)說明道，量化技術(shù)并非AiRiA研究院所獨(dú)有，但在量化精度上達(dá)到3bit甚至更低是其他團(tuán)隊難以比擬的優(yōu)勢。“8bit已經(jīng)很不錯了，但是QTrainer的量化結(jié)果可以做到3bit、2bit甚至1bit。”

另一方面，QEngine提供算法專家定制合作和免費(fèi)技術(shù)支持，不僅支持QNPU，也支持客戶自研硬件。與QTrainer及Watt A1一起，構(gòu)成了普惠AI全棧式解決方案。

“AiRiA研究院是AI芯片的后來者，結(jié)合了自身優(yōu)勢并選擇了發(fā)展前景最好的邊緣計算方向。”程健對雷鋒網(wǎng)說，“從這里切進(jìn)去，一方面源于我們對市場的研判，一方面我們有十多年的技術(shù)積累來支撐我們的判斷。”

他指出，AI芯片技術(shù)和市場正在快速變革，其應(yīng)用與政策環(huán)境都帶來了多重利好。芯片國有化關(guān)乎國家安全問題，無論是企業(yè)還是高校、研究院，都在探索AI芯片研究和落地的新思路。

隨著物聯(lián)網(wǎng)的繁榮及5G商用的迫近，邊緣計算越來越成為熱門，大有與云計算平分秋色之勢。各大計算廠商、云業(yè)務(wù)服務(wù)商也紛紛面向邊緣計算布局。過去的兩年間，芯片公司、云計算巨頭、AI算法公司等紛紛涌入云端訓(xùn)練與推理以及邊緣推理領(lǐng)域，而邊緣訓(xùn)練還是新興領(lǐng)域，明顯的格局尚未形成。

程健告訴雷鋒網(wǎng)，邊緣訓(xùn)練的一大好處是可以在邊緣設(shè)備用實(shí)時實(shí)地數(shù)據(jù)進(jìn)行訓(xùn)練個性化模型，同時無需將數(shù)據(jù)傳輸?shù)皆贫耍Ｕ狭藬?shù)據(jù)隱私安全。邊緣訓(xùn)練要解決的重點(diǎn)包括邊緣端的小樣本數(shù)據(jù)，以及在邊緣端不標(biāo)或少標(biāo)數(shù)據(jù)的情況下實(shí)現(xiàn)無監(jiān)督或半監(jiān)督學(xué)習(xí)。

程健表示，AiRiA研究院會持續(xù)針對這些難題進(jìn)行研究和探索。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。