超写实数字人的口型墙:wav2lip、MuseTalk 与 LatentSync 的实测与放弃
在一块 16GB 消费级显卡上实测三个开源口型方案的完整记录:量化方法、踩过的坑、以及最终放弃实时口型路线的判断依据。
Abstract摘要
为一个照片级数字伴侣项目评估本地实时口型方案。在 RTX 5070 Ti(16GB)上实测 wav2lip256 与 MuseTalk v15 的帧率、延迟、显存与嘴部运动量,离线测试 LatentSync;记录显存回退陷阱、坐标顺序陷阱、复制帧卡顿等七个非显性故障;结论是超写实风格的实时表情与口型在当前要么需要远超消费级的显存,要么需要接受质变级的画质或延迟妥协,本项目据此放弃实时口型、转向预渲染剪辑与独立语音层。所有数字仅代表被测版本与被测机器。