上傳一張圖就可主演任何視頻 阿里生成AI開源!
據(jù)IT之家9月19日消息,阿里通義萬(wàn)相全新動(dòng)作生成模型Wan2.2-Animate今日正式開源。該模型支持驅(qū)動(dòng)人物、動(dòng)漫形象和動(dòng)物照片,可應(yīng)用于短視頻創(chuàng)作、舞蹈模板生成、動(dòng)漫制作等領(lǐng)域。
Wan2.2-Animate模型基于此前通義萬(wàn)相開源的Animate Anyone模型全面升級(jí),不僅在人物一致性、生成質(zhì)量等指標(biāo)上大幅提升,還同時(shí)支持動(dòng)作模仿和角色扮演兩種模式:
角色模仿:輸入一張角色圖片和一段參考視頻,可將視頻角色的動(dòng)作、表情遷移到圖片角色中,賦予圖片角色動(dòng)態(tài)表現(xiàn)力;
角色扮演:同時(shí)還可在保留原始視頻的動(dòng)作、表情及環(huán)境的基礎(chǔ)上,將視頻中的角色替換為圖片中的角色。
此次,通義萬(wàn)相團(tuán)隊(duì)構(gòu)建了一個(gè)涵蓋說(shuō)話、面部表情和身體動(dòng)作的大規(guī)模人物視頻數(shù)據(jù)集,并基于通義萬(wàn)相圖生視頻模型進(jìn)行后訓(xùn)練。
Wan2.2-Animate將角色信息、環(huán)境信息和動(dòng)作等,規(guī)范到一種統(tǒng)一的表示格式,實(shí)現(xiàn)了單一模型同時(shí)兼容兩種推理模式;針對(duì)身體運(yùn)動(dòng)和臉部表情,分別使用骨骼信號(hào)和隱式特征,配合動(dòng)作重定向模塊,實(shí)現(xiàn)動(dòng)作和表情的精準(zhǔn)復(fù)刻。在替換模式中,團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)獨(dú)立的光照融合LoRA,用于保證完美的光照融合效果。
實(shí)測(cè)結(jié)果顯示,Wan2.2-Animate在視頻生成質(zhì)量、主體一致性和感知損失等關(guān)鍵指標(biāo)上,超越了StableAnimator、LivePortrait 等開源模型,是目前性能最強(qiáng)的動(dòng)作生成模型,在人類主觀評(píng)測(cè)中,Wan2.2-Animate甚至超越了以Runway Act-two代表的閉源模型。