AniTalker：静态肖像+音频，自动生成生动的面部说话视频。

AniTalker

GitHub：https://x-lance.github.io/AniTalker/

AniTalker 是一个创新的框架，它能够将单一静态肖像和输入的音频转换成具有自然流畅动作的动画说话视频。

该产品的主要特征：

1. 面部动态捕捉：

AniTalker 能够捕捉到广泛的面部动态，包括微妙的表情和头部动作。

2. 通用运动表示：

该框架使用一种通用的运动表示方法，与仅关注口头线索（如唇部同步）的现有模型不同，AniTalker 能够更全面地捕捉面部表情和非语言线索的复杂动态。

3. 自监督学习策略：

通过两种自监督学习策略增强运动描述：
– 从同一身份的源帧重构目标视频帧，以学习微妙的运动表示。
– 开发身份编码器，使用度量学习同时积极最小化身份和运动编码器之间的互信息。

4. 身份与运动解耦：

确保运动表示是动态的，并且不包含特定身份的细节，这显著减少了对标记数据的需求。

5. 扩散模型与方差适配器：

结合使用扩散模型和方差适配器，允许生成多样化和可控的面部动画。

6. 架构：

AniTalker 的架构包括两个主要部分：学习通用运动表示，然后通过序列模型生成和操作这种表示。

7. 视频演示：

提供了多种演示视频，包括真实感、雕像/卡通风格以及跨/自我重演的音频驱动和视频驱动说话面部生成。

8. 多样性与可控性：

展示了AniTalker生成的动画结果的多样性和可控性。

9. 长视频生成：

展示了如何使用AniTalker生成长篇故事视频，例如向5岁儿童讲述探索火星的故事，或以蒙娜丽莎的身份讲述现代生活的想法。

10. 方法比较：

提供了音频驱动和视频驱动方法的比较。

11. 消融研究：

通过一系列实验来评估框架中不同组件的贡献。

12. 伦理考量：

讨论了数字人类面部生成技术的潜在滥用问题，如创建虚假身份或传播虚假信息，并强调了采取预防性伦理措施的重要性。

13. 移除政策：

所有页面上的视频都是从公开可用的来源算法生成的，仅用于学术演示和算法比较。其他形式的使用是禁止的，如果出现滥用情况，相关的图像、模型和代码可能会被移除。

AniTalker 展示了在创建详细、逼真的面部动作以及为现实世界应用制作动态头像方面的潜力。