DreaMoving是什么?
DreaMoving是一個基于擴散模型的可控視頻生成框架,專門用于生成高質量的定制化人類視頻。具體來說,DreaMoving可以根據目標身份和姿勢序列生成目標身份在任何地方跳舞的視頻。為此,DreaMoving提出了一個用于運動控制的視頻控制網(Video ControlNet)和一個用于身份保持的內容引導器(Content Guider)。這個模型易于使用,并且可以適應大多數風格化的擴散模型,以生成多樣化的結果。
DreaMoving官網演示視頻:
DreaMoving可以做什么?
DreaMoving能夠根據指導序列和簡單的內容描述(如文本和參考圖像)生成高質量、高保真度的視頻。具體來說,DreaMoving在身份控制方面表現出色,通過面部參考圖像進行精確的運動操控,并通過特定的文本提示進行全面的視頻外觀控制。它的視頻控制網處理控制序列(姿勢或深度)以產生額外的時間殘差,而去噪U-Net是一個派生的穩定擴散U-Net,帶有用于視頻生成的運動塊。內容引導器將輸入的文本提示和外觀表達(如人臉,衣服可選)轉換為交叉注意力的內容嵌入。

DreaMoving的使用場景
1. 影視制作中的角色替換
在影視制作中,DreaMoving可以用于創建或替換特定場景中的角色。例如,如果需要在一個場景中添加一個未能到場的演員,可以使用DreaMoving根據該演員的面部參考和預設的姿勢序列生成視頻,從而在不需要實際演員到場的情況下完成拍攝。
2. 虛擬時尚展示
時尚設計師可以使用DreaMoving來展示他們的服裝設計。通過輸入模特的參考圖像和一系列動作姿勢,設計師可以創建一個虛擬模特在不同環境中展示服裝的視頻,這對于線上時尚展或虛擬試衣非常有用。
3. 個性化視頻內容創作
內容創作者可以利用DreaMoving來制作個性化視頻。例如,一個旅游博主可以創建一個系列視頻,展示自己在世界各地的不同地標前跳舞或進行其他活動,即使他們實際上沒有訪問所有這些地方。
4. 教育和培訓
在教育和培訓領域,DreaMoving可以用來創建教學視頻,其中教師或講師的動作和表情可以根據需要進行調整,以更好地傳達信息或展示特定的教學內容。
5. 虛擬現實和游戲
在虛擬現實和游戲開發中,DreaMoving可以用來生成角色的動作和互動,提供更加逼真和個性化的用戶體驗。開發者可以根據游戲的情節和環境需求,快速生成各種角色動作。
6. 藝術創作和展覽
藝術家可以使用DreaMoving來創作新穎的視頻藝術作品。通過結合不同的文本提示和參考圖像,藝術家可以創造出獨特的視覺表現,用于展覽或數字藝術項目。
這些示例展示了DreaMoving在多個領域的廣泛應用潛力,特別是在需要高度定制化和創意表達的場合。
如何使用DreaMoving?
- DreaMoving項目地址:https://dreamoving.github.io/dreamoving/
- DreaMoving體驗地址:https://www.modelscope.cn/studios/vigen/video_generation/summary