DreaMoving是什么？

DreaMoving是一個基于擴散模型的可控視頻生成框架，專門用于生成高質(zhì)量的定制化人類視頻。具體來說，DreaMoving可以根據(jù)目標身份和姿勢序列生成目標身份在任何地方跳舞的視頻。為此，DreaMoving提出了一個用于運動控制的視頻控制網(wǎng)（Video ControlNet）和一個用于身份保持的內(nèi)容引導(dǎo)器（Content Guider）。這個模型易于使用，并且可以適應(yīng)大多數(shù)風(fēng)格化的擴散模型，以生成多樣化的結(jié)果。

DreaMoving官網(wǎng)演示視頻：

DreaMoving可以做什么？

DreaMoving能夠根據(jù)指導(dǎo)序列和簡單的內(nèi)容描述（如文本和參考圖像）生成高質(zhì)量、高保真度的視頻。具體來說，DreaMoving在身份控制方面表現(xiàn)出色，通過面部參考圖像進行精確的運動操控，并通過特定的文本提示進行全面的視頻外觀控制。它的視頻控制網(wǎng)處理控制序列（姿勢或深度）以產(chǎn)生額外的時間殘差，而去噪U-Net是一個派生的穩(wěn)定擴散U-Net，帶有用于視頻生成的運動塊。內(nèi)容引導(dǎo)器將輸入的文本提示和外觀表達（如人臉，衣服可選）轉(zhuǎn)換為交叉注意力的內(nèi)容嵌入。

DreaMoving的使用場景

1. 影視制作中的角色替換

在影視制作中，DreaMoving可以用于創(chuàng)建或替換特定場景中的角色。例如，如果需要在一個場景中添加一個未能到場的演員，可以使用DreaMoving根據(jù)該演員的面部參考和預(yù)設(shè)的姿勢序列生成視頻，從而在不需要實際演員到場的情況下完成拍攝。

2. 虛擬時尚展示

時尚設(shè)計師可以使用DreaMoving來展示他們的服裝設(shè)計。通過輸入模特的參考圖像和一系列動作姿勢，設(shè)計師可以創(chuàng)建一個虛擬模特在不同環(huán)境中展示服裝的視頻，這對于線上時尚展或虛擬試衣非常有用。

3. 個性化視頻內(nèi)容創(chuàng)作

內(nèi)容創(chuàng)作者可以利用DreaMoving來制作個性化視頻。例如，一個旅游博主可以創(chuàng)建一個系列視頻，展示自己在世界各地的不同地標前跳舞或進行其他活動，即使他們實際上沒有訪問所有這些地方。

4. 教育和培訓(xùn)

在教育和培訓(xùn)領(lǐng)域，DreaMoving可以用來創(chuàng)建教學(xué)視頻，其中教師或講師的動作和表情可以根據(jù)需要進行調(diào)整，以更好地傳達信息或展示特定的教學(xué)內(nèi)容。

5. 虛擬現(xiàn)實和游戲

在虛擬現(xiàn)實和游戲開發(fā)中，DreaMoving可以用來生成角色的動作和互動，提供更加逼真和個性化的用戶體驗。開發(fā)者可以根據(jù)游戲的情節(jié)和環(huán)境需求，快速生成各種角色動作。

6. 藝術(shù)創(chuàng)作和展覽

藝術(shù)家可以使用DreaMoving來創(chuàng)作新穎的視頻藝術(shù)作品。通過結(jié)合不同的文本提示和參考圖像，藝術(shù)家可以創(chuàng)造出獨特的視覺表現(xiàn)，用于展覽或數(shù)字藝術(shù)項目。

這些示例展示了DreaMoving在多個領(lǐng)域的廣泛應(yīng)用潛力，特別是在需要高度定制化和創(chuàng)意表達的場合。

如何使用DreaMoving？

• DreaMoving項目地址：https://dreamoving.github.io/dreamoving/
• DreaMoving體驗地址：https://www.modelscope.cn/studios/vigen/video_generation/summary