SyncTalk：合成同步头部的说话视频

SyncTalk 可以创建逼真的头部说话视频，通过先进的 3D 面部建模完美同步嘴唇运动、面部表情和头部姿势。

这种基于 NeRF 的方法有效地保持了主体身份，增强了头部说话合成的同步性和真实感。 SyncTalk 采用面部同步控制器将嘴唇运动与语音保持一致，并创新性地使用 3D 面部混合形状模型来捕捉准确的面部表情。我们的头部同步稳定器可优化头部姿势，实现更自然的头部运动。