火山語(yǔ)音首個(gè)超寫(xiě)實(shí)數(shù)字人小燦正式亮相

10月18日，火山語(yǔ)音首個(gè)超寫(xiě)實(shí)數(shù)字員工小燦正式亮相。在最新發(fā)布的品牌TVC中，小燦以虛擬產(chǎn)品經(jīng)理的身份入職火山語(yǔ)音團(tuán)隊(duì)。初入職場(chǎng)的小燦就像普通新人一樣，也會(huì)為自己能否順利入職而糾結(jié)，更會(huì)在入職第一天整裝待發(fā)，對(duì)美好的實(shí)習(xí)生活充滿期待。TVC中，她陽(yáng)光可愛(ài)，與同事們穿梭在日常職場(chǎng)中絲毫不顯違和，會(huì)因開(kāi)會(huì)而緊張，更希望被大家認(rèn)可并看重自我成長(zhǎng)，在短短的一分鐘故事短片內(nèi)，展示了虛擬數(shù)字人豐富的情感世界，直觀近如眼前。

據(jù)了解，小燦由火山語(yǔ)音聯(lián)合朝夕光年江南團(tuán)隊(duì)共同打造，其形象融合了藝術(shù)美感。無(wú)論從數(shù)字人的外形與動(dòng)作出發(fā)，還是細(xì)致到面部微表情、皮膚肌理，甚至是發(fā)絲材質(zhì)上都做到了高度逼真。伴隨小燦的發(fā)布，火山語(yǔ)音團(tuán)隊(duì)已經(jīng)具備3D超寫(xiě)實(shí)數(shù)字人整套形象設(shè)計(jì)、資產(chǎn)制作、高成本影視級(jí)cg管線視頻內(nèi)容的制作能力。

從外在的制作能力深入到內(nèi)在的數(shù)字人AI驅(qū)動(dòng)角度，火山語(yǔ)音團(tuán)隊(duì)具備豐富且領(lǐng)先的技術(shù)儲(chǔ)備，例如AI驅(qū)動(dòng)口型方向，團(tuán)隊(duì)通過(guò)使用行業(yè)領(lǐng)先的非自回歸模型的唇形生成網(wǎng)絡(luò)，合成與輸入文本或語(yǔ)音完全匹配的唇形，準(zhǔn)確率高達(dá)98.55%。

AI驅(qū)動(dòng)動(dòng)作層面，團(tuán)隊(duì)基于創(chuàng)新的Motion Blening技術(shù)，在動(dòng)作切換時(shí)可生成過(guò)度幀，使得數(shù)字人在切換各類(lèi)動(dòng)作時(shí)不僅可以做到毫秒級(jí)切換，同時(shí)平滑效果自然無(wú)感知；除此之外還在AI表情口型聯(lián)合建模，基于語(yǔ)音語(yǔ)義的動(dòng)作生成即co speech技術(shù)上，都有具有前瞻性的預(yù)研工作并已取得階段性成果，后續(xù)將全部應(yīng)用于數(shù)字人視頻創(chuàng)作、交互以及直播等場(chǎng)景。

值得一提的是，本次發(fā)布的超寫(xiě)實(shí)數(shù)字人還具備“一條音頻秒級(jí)別音色復(fù)刻”技術(shù)（zero shot TTS），可以做到高保真還原真人音色、說(shuō)話風(fēng)格以及聲學(xué)環(huán)境等特點(diǎn)，在核心技術(shù)架構(gòu)全自研的基礎(chǔ)上，關(guān)鍵指標(biāo)均保持業(yè)界前沿。此外韻律模塊基于自回歸GPT類(lèi)大模型，目前訓(xùn)練數(shù)據(jù)超過(guò)20萬(wàn)個(gè)小時(shí)，架構(gòu)可擴(kuò)展性很強(qiáng)，未來(lái)預(yù)計(jì)可支持100萬(wàn)小時(shí)以上數(shù)據(jù)訓(xùn)練；模塊支持code-switch，即無(wú)論prompt為中文或者英文，都可支持直接輸出中文、英文及混合內(nèi)容。

原始音頻

生成-中文效果

生成-英文效果

如今火山語(yǔ)音團(tuán)隊(duì)已建立了包括2D、3D卡通和3D超寫(xiě)實(shí)在內(nèi)的虛擬數(shù)字人產(chǎn)品矩陣，涵蓋“播報(bào)型數(shù)字人”和“交互型數(shù)字人”兩種類(lèi)型，其中播報(bào)型數(shù)字人，即輸入文本或語(yǔ)音，就可生成自然生動(dòng)的數(shù)字人播報(bào)視頻；交互數(shù)字人作為播報(bào)型數(shù)字人的形態(tài)升級(jí)，依托于火山語(yǔ)音長(zhǎng)期積累的成熟語(yǔ)音交互技術(shù)，可以做到“善聽(tīng)”、“會(huì)說(shuō)”、“能想”，與用戶面對(duì)面實(shí)時(shí)交互。“交互數(shù)字人集成了全雙工語(yǔ)音交互鏈路，前向兼容語(yǔ)音以及文本輸入，后向兼容2D與3D數(shù)字人表現(xiàn)力，整體端到端交互延遲在500ms左右，性能效果超前。”團(tuán)隊(duì)總結(jié)道。

2022年6月，火山引擎虛擬人數(shù)字平臺(tái)已獲得信通院首批數(shù)字人系統(tǒng)基礎(chǔ)能力認(rèn)證。在“實(shí)時(shí)高逼真孿生數(shù)字人關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范”項(xiàng)目建設(shè)中，火山語(yǔ)音團(tuán)隊(duì)?wèi){借業(yè)內(nèi)優(yōu)勢(shì)的AI語(yǔ)音技術(shù)以及全棧語(yǔ)音產(chǎn)品解決方案能力，參與到該項(xiàng)目課題三“實(shí)時(shí)高保真孿生數(shù)字人通用開(kāi)發(fā)平臺(tái)”的建設(shè)中，并與江南游戲工作室合作，通過(guò)整合交互理解、智能對(duì)話管理、智能驅(qū)動(dòng)三大模塊，構(gòu)建支持定制化并適用于多樣場(chǎng)景的數(shù)字人智能“對(duì)話”系統(tǒng)，實(shí)現(xiàn)多模態(tài)交互對(duì)話。

一直以來(lái)，火山語(yǔ)音技術(shù)支持下的虛擬數(shù)字人專注播報(bào)、交互、直播三大核心領(lǐng)域，通過(guò)火山引擎面向金融、汽車(chē)、傳媒等多個(gè)核心行業(yè)，提供涵蓋“金融客服”、“智慧導(dǎo)覽”、“智能助理”、“虛擬直播”等場(chǎng)景細(xì)分解決方案，并可落地在內(nèi)容生產(chǎn)、視頻直播、車(chē)載環(huán)境等諸多場(chǎng)景中，為用戶帶來(lái)全新的互動(dòng)服務(wù)和專業(yè)智能體驗(yàn)。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。