直播丨商湯科技：如何做模型量化，訓(xùn)練極低比特網(wǎng)絡(luò)

本文作者： AI研習(xí)社

2020-04-08 17:14

導(dǎo)語：分享團(tuán)隊(duì)在模型量化方面的一系列研究工作，其中包含CVPR2020、ICCV2019等多篇與北航劉祥龍老師合作的論文成果。

隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于各種領(lǐng)域，模型性能的提高同時(shí)也引入了巨大的參數(shù)量和計(jì)算量。模型量化是一種將浮點(diǎn)計(jì)算轉(zhuǎn)成低比特定點(diǎn)計(jì)算的技術(shù)，可以有效的降低模型計(jì)算強(qiáng)度、參數(shù)大小和內(nèi)存消耗，但往往帶來巨大的精度損失。尤其是在極低比特(<4bit)、二值網(wǎng)絡(luò)(1bit)、甚至將梯度進(jìn)行量化時(shí)，帶來的精度挑戰(zhàn)更大。

本次直播，我們邀請(qǐng)了商湯研究院--鏈接與編譯團(tuán)隊(duì)的兩位研究員，分享團(tuán)隊(duì)在模型量化方面的的一系列研究工作，其中包含CVPR 2020、ICCV 2019等多篇與北航劉祥龍老師團(tuán)隊(duì)合作的論文成果。

一、課程信息

主題：如何做模型量化，訓(xùn)練極低比特網(wǎng)絡(luò)

時(shí)間：4月9日（周四）20:00-21:00

觀看鏈接：↓↓↓

http://www.mooc.ai/open/course/786?from=leiphonecolumn_mooc0408

二、分享提綱

1、如何訓(xùn)練極低比特(<4bit)的網(wǎng)絡(luò)

2、如何訓(xùn)練高效的二值化網(wǎng)絡(luò)

3、如何用量化技術(shù)來加速模型訓(xùn)練

4、模型量化在實(shí)際場(chǎng)景的落地

5、模型量化與網(wǎng)絡(luò)結(jié)構(gòu)搜索結(jié)合

三、嘉賓介紹

直播丨商湯科技：如何做模型量化，訓(xùn)練極低比特網(wǎng)絡(luò)

余鋒偉

商湯科技研究院高級(jí)研究員

鏈接與編譯組負(fù)責(zé)人

余鋒偉研究員本碩畢業(yè)于北京航空航天大學(xué)計(jì)算機(jī)學(xué)院。曾獲得MOT16視頻多目標(biāo)跟蹤冠軍，ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競(jìng)賽一等獎(jiǎng)，華為獎(jiǎng)學(xué)金，研究生國(guó)家獎(jiǎng)學(xué)金等。現(xiàn)作為內(nèi)部開源技術(shù)中臺(tái)的架構(gòu)師之一，負(fù)責(zé)訓(xùn)練加速、自動(dòng)模型部署、模型量化、神經(jīng)網(wǎng)絡(luò)編譯器等技術(shù)的研發(fā)和落地。在ECCV、ICCV、CVPR、ICLR上共發(fā)表5篇論文。

直播丨商湯科技：如何做模型量化，訓(xùn)練極低比特網(wǎng)絡(luò)

龔睿昊

商湯科技研究院見習(xí)研究員

鏈接與編譯組成員

龔睿昊同學(xué)曾獲得商湯科技未來之星、CCF優(yōu)秀大學(xué)生、北京市三好學(xué)生、國(guó)家獎(jiǎng)學(xué)金等。現(xiàn)主要研究方向?yàn)樯疃葘W(xué)習(xí)模型的量化加速技術(shù)，在ICCV、CVPR、ICLR、PR等期刊會(huì)議上發(fā)表6篇論文(其中1篇一作，4篇二作)，期間負(fù)責(zé)量化框架的設(shè)計(jì)和開發(fā)，支持量化模型在多業(yè)務(wù)線項(xiàng)目落地。

四、直播報(bào)名

掃碼添加AI研習(xí)社頂會(huì)小助手（AIyanxishe2）微信好友備注“論文解讀+量化”后進(jìn)入報(bào)名微信群，獲取課件和直播間地址

直播丨商湯科技：如何做模型量化，訓(xùn)練極低比特網(wǎng)絡(luò)