欧美成人三级视频网站,国产一区国产二区国产三区,青青久久av北条麻妃黑人,亚州综合一区

訊飛智文
當前位置:首頁>AI工具>AI訓練模型>CoDi-多模態 AI 大模型

CoDi-多模態 AI 大模型

CoDi-多模態 AI 大模型

CoDi是什么?

CoDi (Composable Diffusion) 是一個新穎的生成模型,能夠從任何組合的輸入模態(如語言、圖像、視頻或音頻)生成任何組合的輸出模態。

更多 demo 體驗:https://codi-gen.github.io/

與現有的生成 AI 系統不同,CoDi 可以并行生成多種模態,其輸入不僅限于文本或圖像等子集模態。盡管許多模態組合的訓練數據集不存在,但我們提出在輸入和輸出空間中對模態進行對齊。這使 CoDi 能夠自由地根據任何輸入組合進行條件設置,并生成任何模態組,即使它們在訓練數據中不存在。CoDi 采用了一種新穎的可組合生成策略,該策略涉及通過在擴散過程中建立對齊來構建共享的多模態空間,從而實現交織模態(如時間對齊的視頻和音頻)的同步生成。CoDi 高度定制化和靈活,實現了強大的聯合模態生成質量,并與單模態合成的最新技術相媲美或者在同等水平。

CoDi 的模型架構使用了多階段訓練方案,使其能夠僅對線性數量的任務進行訓練,但對所有輸入和輸出模態的組合進行推理。

CoDi 的使用示例包括:

  • 多輸出聯合生成:模型接受單個或多個提示(包括視頻、圖像、文本或音頻),生成多個對齊的輸出,如伴有聲音的視頻。
  • 多條件生成:模型接受多個輸入(包括視頻、圖像、文本或音頻)生成輸出。
  • 單對單生成:模型接受單個提示(包括視頻、圖像、文本或音頻)生成單個輸出。

如何使用?

CoDi 的研究論文已經發布在 arXiv 上,論文標題為 "Any-to-Any Generation via Composable Diffusion"。

論文地址:http://arxiv.org/abs/2305.11846

GitHub代碼:https://github.com/microsoft/i-Code/tree/main/i-Code-V3

演示視頻:

?版權聲明:如無特殊說明,本站所有內容均為AIHub.cn原創發布和所有。任何個人或組織,在未征得本站同意時,禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。否則,我站將依法保留追究相關法律責任的權利。 Trae
0 條回復 A文章作者 M管理員
    暫無評論內容
error:
主站蜘蛛池模板: 灵台县| 屯昌县| 遂溪县| 巴林右旗| 沿河| 和顺县| 北碚区| 调兵山市| 正阳县| 周至县| 泌阳县| 屏东市| 宁南县| 搜索| 尼玛县| 安乡县| 桦川县| 留坝县| 大同市| 茌平县| 崇信县| 琼中| 喀喇沁旗| 盘锦市| 康保县| 浦城县| 湘潭市| 樟树市| 濮阳县| 辰溪县| 德令哈市| 双江| 甘洛县| 麻栗坡县| 黄陵县| 慈溪市| 葫芦岛市| 白银市| 介休市| 宜昌市| 咸阳市|