DreaMoving是什么?
DreaMoving是一個基于擴散模型的可控視頻生成框架,專門用于生成高質(zhì)量的定制化人類視頻。具體來說,DreaMoving可以根據(jù)目標身份和姿勢序列生成目標身份在任何地方跳舞的視頻。為此,DreaMoving提出了一個用于運動控制的視頻控制網(wǎng)(Video ControlNet)和一個用于身份保持的內(nèi)容引導(dǎo)器(Content Guider)。這個模型易于使用,并且可以適應(yīng)大多數(shù)風(fēng)格化的擴散模型,以生成多樣化的結(jié)果。
DreaMoving官網(wǎng)演示視頻:
DreaMoving可以做什么?
DreaMoving能夠根據(jù)指導(dǎo)序列和簡單的內(nèi)容描述(如文本和參考圖像)生成高質(zhì)量、高保真度的視頻。具體來說,DreaMoving在身份控制方面表現(xiàn)出色,通過面部參考圖像進行精確的運動操控,并通過特定的文本提示進行全面的視頻外觀控制。它的視頻控制網(wǎng)處理控制序列(姿勢或深度)以產(chǎn)生額外的時間殘差,而去噪U-Net是一個派生的穩(wěn)定擴散U-Net,帶有用于視頻生成的運動塊。內(nèi)容引導(dǎo)器將輸入的文本提示和外觀表達(如人臉,衣服可選)轉(zhuǎn)換為交叉注意力的內(nèi)容嵌入。

DreaMoving的使用場景
1. 影視制作中的角色替換
在影視制作中,DreaMoving可以用于創(chuàng)建或替換特定場景中的角色。例如,如果需要在一個場景中添加一個未能到場的演員,可以使用DreaMoving根據(jù)該演員的面部參考和預(yù)設(shè)的姿勢序列生成視頻,從而在不需要實際演員到場的情況下完成拍攝。
2. 虛擬時尚展示
時尚設(shè)計師可以使用DreaMoving來展示他們的服裝設(shè)計。通過輸入模特的參考圖像和一系列動作姿勢,設(shè)計師可以創(chuàng)建一個虛擬模特在不同環(huán)境中展示服裝的視頻,這對于線上時尚展或虛擬試衣非常有用。
3. 個性化視頻內(nèi)容創(chuàng)作
內(nèi)容創(chuàng)作者可以利用DreaMoving來制作個性化視頻。例如,一個旅游博主可以創(chuàng)建一個系列視頻,展示自己在世界各地的不同地標前跳舞或進行其他活動,即使他們實際上沒有訪問所有這些地方。
4. 教育和培訓(xùn)
在教育和培訓(xùn)領(lǐng)域,DreaMoving可以用來創(chuàng)建教學(xué)視頻,其中教師或講師的動作和表情可以根據(jù)需要進行調(diào)整,以更好地傳達信息或展示特定的教學(xué)內(nèi)容。
5. 虛擬現(xiàn)實和游戲
在虛擬現(xiàn)實和游戲開發(fā)中,DreaMoving可以用來生成角色的動作和互動,提供更加逼真和個性化的用戶體驗。開發(fā)者可以根據(jù)游戲的情節(jié)和環(huán)境需求,快速生成各種角色動作。
6. 藝術(shù)創(chuàng)作和展覽
藝術(shù)家可以使用DreaMoving來創(chuàng)作新穎的視頻藝術(shù)作品。通過結(jié)合不同的文本提示和參考圖像,藝術(shù)家可以創(chuàng)造出獨特的視覺表現(xiàn),用于展覽或數(shù)字藝術(shù)項目。
這些示例展示了DreaMoving在多個領(lǐng)域的廣泛應(yīng)用潛力,特別是在需要高度定制化和創(chuàng)意表達的場合。
如何使用DreaMoving?
- DreaMoving項目地址:https://dreamoving.github.io/dreamoving/
- DreaMoving體驗地址:https://www.modelscope.cn/studios/vigen/video_generation/summary