本稿は「デジタル伴侶制作記」の第2篇であり、最初の大きな断念であるローカル・リアルタイム口形同期を記録する。対象はwav2lip（LiveTalking経由）、MuseTalk v15（同）、LatentSync（オフライン）の三方式。結論を先に述べると、いずれも写真級伴侶に必要な質感へ届かず、その差は調整で埋められるものではなかった。
検証環境と方法
Windows 11、RTX 5070 Ti 16GB（Blackwell、sm_120）、PyTorch 2.9.1+cu128。素材には1904×1072の実写質感動画を用いた。
検証は目視だけに頼らない。二つのスクリプトで口が本当に動いているかを測った。顔座標ファイルから実際の口領域を取り、発話区間と無音区間のフレーム差を比較する。さらに発話区間から無音区間の画素運動を差し引き、動きが全顔のノイズではなく口元へ集中していることを確かめた。
この方法自体もすぐに罠を露呈した。最初は「口がほぼ動かない」という0.97×の比率が出た。調査すると、二つのバックエンドで座標欄の順序が逆だった。一方はy1,y2,x1,x2、他方はx1,y1,x2,y2で、注釈はない。直感的な順に読むと顔の脇を静かに測り、エラーも出ない。修正後は1.52×となり、運動図のピークは正確に口へ落ちた。
実測値
同じ素材、音声、機材で比較した。
| 指標 | wav2lip256 | MuseTalk v15 |
|---|---|---|
| 描画フレームレート | 24.9–25.1 fps | 24.9–25.1 fps |
| 音声から開口までの遅延 | 217 ms | 443 ms |
| 起動時VRAM | 6.2 GB | 9.4 GB |
| バッチサイズ | 16（既定） | 4まで下げる必要あり |
| 口の運動量（発話/無音） | 0.941 | 1.626 |
画質差が決定的だった。wav2lipは口がほとんど開かず、口周りに灰色の長方形の貼り跡と境界が見える。MuseTalkは口が実際に開き、歯が見え、貼り合わせの境界も目立たない。二択ならMuseTalkだが、そもそも二択を受け入れる必要はなかった。
七つの見えない障害
数値表より再利用価値が高いかもしれない。共通点は、エラーを出さず、正常に見える形で壊れることだった。
- OOMを出さないVRAMフォールバック。 高解像度の顔検出と常駐サービスが16GBを超えると、WindowsのNVIDIAドライバーは例外ではなくシステムメモリへ退避した。OOM再試行は発火せず、処理が数百倍遅くなり、15分後も最初のバッチにいた。
- MuseTalk高解像度の同型問題。 バッチ16で起動時にVRAMを使い切る。待機再生は25fpsのまま、推論だけが1fpsへ落ち、音声が十数秒たまっても例外はゼロだった。
- 複製フレームの引っ掛かり。
-r 25による24→25fps変換は毎秒1フレームを複製する。規則的な停止が素材へ焼き付き、描画側では直せない。サーバーとブラウザの統計は25.0fps、ドロップゼロのままだった。運動補間で複製は消えた。 - 0フレームで正常完了。 動画を開けなくても抽出ツールはエラーを出さず、100%完了を報告した。再生時に別スレッドのゼロ除算として初めて現れた。
- 汚れたディレクトリ。 再生成時に旧フレームを消さないため、新素材が短いと前版の末尾が残る。しかも丁寧に作った無縫合部の直後へつながり、ループを壊した。
- LatentSyncのパス罠。 内部ffmpegが空白を含むパスを引用符で囲まず、中間ファイルが静かに消えた。最後は顔検出失敗らしいスタックで落ち、本当の原因は二層先にあった。
- 座標順の罠は前節のとおり。
断念の判断
動かなかったからではない。三方式とも動作し、リアルタイム系はフレームレートも安定した。それでも断念した理由は次の二つである。
- 質感差は量ではなく質の差だった。 成熟した商用方式と比べ、貼り境界、微表情の欠落、恐怖の谷はパラメーターではなくモデル世代の差だった。
- 三すくみがある。 超写実のリアルタイム表情、口形、動作制御を同時に求めると、民生機を超えるVRAM、重いオフライン処理による秒単位の遅延、軽量モデルによる画質低下のいずれかが必要になる。三つとも受け入れられないなら、現時点では壁である。
本プロジェクトでは問題を定義し直した。一語ずつ口を合わせることを諦め、高品質な事前レンダリング映像のプールと独立した音声層を使う。映像と声の質を別々に守り、口形不一致を受け入れる。実際の体験では、その代償は恐怖の谷よりはるかに小さかった。
残ったもの
断念した経路にも成果は残った。上流ライセンスに従って修正した順方向再生と25fps補間ツール、0フレーム防止、旧ディレクトリ清掃、そして本稿の検証方法である。最も重要な遺産は一つの原則だった。「正常に見える」ものほど、もう一度データで確かめる。