PhotoMaker是什么？

PhotoMaker是一個由南開大學和騰訊PCG實驗室開發的人工智能系統，通過一種稱為Stacked ID Embedding的方法，將同一身份的多張輸入圖像編碼成一個ID嵌入，作為生成圖像的統一表示，生成逼真的人類照片。

PhotoMaker具有高質量和多樣化的生成能力，可以根據文本提示生成逼真的照片，并在保留身份屬性的同時進行風格化處理、將藝術作品或舊照片中的人物帶入現實、改變年齡或性別以及進行身份混合。

PhotoMaker可以做什么？

PhotoMaker具有以下功能：

• 生成逼真照片：PhotoMaker可以根據文本提示生成逼真的人物照片，使得生成的照片與給定的描述相符合。
• 保留身份屬性的風格化處理：除了生成逼真的照片外，PhotoMaker還可以在保留身份屬性的同時進行風格化處理，使得生成的照片具有不同的藝術風格或特定的視覺效果。
• 將藝術作品或舊照片中的人物帶入現實：通過將藝術作品、雕塑或舊照片作為輸入，PhotoMaker可以將過去的人物帶入現實，為他們生成照片。這為將歷史人物或藝術作品中的人物重新呈現在現實世界中提供了可能。
• 改變年齡或性別：通過簡單地替換類別詞（如男性和女性），PhotoMaker可以實現改變人物的年齡或性別，同時保持原始身份的特征。
• 身份混合：如果用戶提供不同身份的圖像作為輸入，PhotoMaker可以將不同身份的特征融合在一起，形成一個新的身份。用戶可以通過控制輸入圖像池中身份圖像的比例或通過調整提示權重來調整混合比例。

PhotoMaker主要特點

1. 幾秒鐘內快速定制，無需額外的 LoRA 培訓。
2. 確保令人印象深刻的 ID 保真度、提供多樣性、有前途的文本可控性和高質量的生成。
3. 可以作為適配器與社區中的其他基礎模型以及 LoRA 模塊進行協作。

PhotoMaker效果示例

生成的寫實效果

風格化生成效果

注意：僅更改基本模型并添加 LoRA 模塊以獲得更好的風格化

如何使用PhotoMaker？

論文：https://huggingface.co/papers/2312.04461

GitHub：https://github.com/TencentARC/PhotoMaker

PhotoMaker提供了若干個體驗demo，點擊一下即可在線體驗：

https://huggingface.co/spaces/TencentARC/PhotoMaker

https://huggingface.co/spaces/TencentARC/PhotoMaker-Style