AI 软件
对抗网络模型,可以把2D画面转换为生动的3D图像。它可以生成具有可控面部表情、头部姿势和肩膀运动的肖像图像。它是一种在非结构化 2D 图像集合上训练的生成模型,不使用 3D 或视频数据。
AniPortraitGAN从 2D 图像集合生成可动画的 3D 肖像论文:huggingface.co/papers/2309.02186之前用于人类生成的可动画 3D 感知 GAN 主要关注人类头部或全身。然而,仅头部视频在现实生活中相对罕见,全身生成通常不涉及面部表情控制,并且在生成高质量结果方面仍然面临挑战。
针对适用的视频头像,我们提出了一种可动画的 3D 感知 GAN,它可以生成具有可控面部表情、头部姿势和肩膀运动的肖像图像。它是一种在非结构化 2D 图像集合上训练的生成模型,不使用 3D 或视频数据。
对于新任务,我们的方法基于生成辐射流形表示,并为其配备可学习的面部和头肩变形。提出了双摄像头渲染和对抗性学习方案来提高生成的人脸质量,这对于肖像图像至关重要。开发了姿势变形处理网络来为长发等具有挑战性的区域生成合理的变形。
实验表明,我们的方法在非结构化 2D 图像上进行训练,可以生成多样化且高质量的 3D 肖像,并对不同属性进行所需的控制。
3