Alias Archiveアーカイブ更新中
アーカイブ更新中

絵に絵コンテを合わせる:絵画調パイロットのキーフレームと動画化工程

90 秒・台詞なしのアニメーションパイロットで制作工程を組み立てた記録。構図を絵コンテに固定した判断がなぜ失敗したか、絵画的な質感が動画生成のどこでどれだけ失われたかを検証する。

記録日
所属分野
その他
言語版
JA / 閲覧版

このパイロットは、90 秒、台詞なし、単一の美術方針で制作する計画だった。古い油彩の筆触とキャンバス地、冷たい灰色の単色調、顔を見せない二人の登場人物。人が担当するのは画像モデルで生成し、目で審査するキーフレームだけとし、残りは生成工程に委ねる。

制作の途中で、実行上の細部と思っていた問題が方針の問題に変わった。画像モデルの制御性は低いが、脚本は完全に制御できる。 文自体は自明でも、その帰結は自明ではなかった。本稿は、その帰結を避けられなくした一つの失敗と、その後の絵コンテの再設計、さらに動画化で手描きの質感がどれだけ、どこで失われたかを記録する。

七回の失敗が導いた結論

あるショットには、色褪せた女性を背後から捉え、空の腕で抱擁の姿勢を保たせ、石壁の近くに立たせ、画面から暖色を排し、古い油彩の質感を与える必要があった。絵コンテに書き込んだ時点で、これらは構図仕様になっていた。

七回生成しても審査を通らなかった。各回は直前に報告された欠陥を修正したが、修正するほど画面はショットの本当の内容から離れた。石壁を遠景の城と解釈させないために壁の説明を強め続けた結果、壁がプロンプト冒頭の主語となり、画面は建築画に変わり、人物は点ほどに縮んだ。

転換点は脚本を読み直したときに訪れた。必要なのは四点だけだった。止められない動作を繰り返していること、腕の中は空でも姿勢が残っていること、背を向けて振り返らないこと、攻撃できること。壁は一度も要件ではなかった。実行段階で持ち込まれ、その後は適切な画像を退ける理由として使われていた。

ここから二つの制作原則を得た。

第一に、絵コンテは「何が起きなければならないか」を規定し、「どう見えるか」は規定しない。 各節には不可侵条件と交渉可能な項目を明記し、機械的な規則を一つ添える。交渉可能項目を理由に、条件を満たす画像を却下してはならない。この規則は寛容さのためではなく、実行者が持ち込んだ条件で脚本を上書きすることを防ぐためにある。

第二に、一つの連続した節ではキーフレームを一枚だけ作る。 画像モデルの生成は毎回独立した標本であり、同じプロンプトの四枚が四種類の壁を返すこともある。同じ節で独立したキーフレームを二枚作れば、連続性の破綻をほぼ保証する。残りのショットは派生させる。連続する動きには動画の最終フレームを使い、機位変更や要素除去には制御可能な局所編集を使う。

絵コンテはこの方針で書き直した。五つの大きな節、各節に一枚のキーフレーム、ビートと不可侵条件を記し、構図の記述をすべて削除した。五節とも一回から三回で通過した。

審査を通過したキーフレーム。色褪せた女性を斜め後方から捉え、枯れた森と乾式石積みの壁に沿って急ぐ姿を描く
最終的に通過したキーフレーム。以前の却下回にも存在したが、「壁が低く、衝突できない」という理由で除外された。脚本には壁への衝突という要件はない。

再現した三種類のプロンプト失敗

以下の三つは本工程でそれぞれ二回以上再現し、失敗機序も異なっていた。

指定しない部位は補完される。 記述しない下半身は破布になり、記述しない左手には盾が現れ、画角外だった頭部は構図を広げると顔を持つ。モデルは空白を保存せず、もっともらしい値を補う。

言及した対象は、否定形でも描かれる。 「そこにいない子どもを抱いているかのように」は安定して子どもを生み、「cinematic」は安定してレターボックスを生む。ネガティブ指定は補助にはなるが、主要な制約を担えない。本工程では黒帯に対して完全に無効だった。「空」や「不在」を表す唯一安定した方法は、存在するものだけを記述し、不在を構図から立ち上げることだった。

どの機位でも同時に成立しない条件の組合せがある。 「カメラに背を向ける」と「身体の前で両腕を抱える」は衝突する。腕は身体の前側にあり、真正面の後方視点では身体に隠れる。モデルは頭を背面、腕を正面にした矛盾した人物で折り合いをつける。これはモデル能力の問題ではなく、人間の画家にも描けない。解決策は斜め後方の三四分の一視点であり、顔を背けたまま腕の輪郭を側面から見せられる。

同じ誤りを三回繰り返したのは、毎回文を組み直したためだった。現在は固定文として工程文書に記し、言い換えずにそのまま複製する。

付随して得た結論は、言葉を変えるより機位や景別を変える方がはるかに有効だということだった。三つの幾何的変更はすべて成功した。斜め後方視点で腕の遮蔽を解き、画角を狭めて環境に人物が埋もれるのを防ぎ、機位を引いて二人の空間関係を直した。一方、文言だけを変えた四回はすべて失敗した。景別は幾何の問題であり、言葉では不可能な幾何を解けない。

画像から動画へ:画風は継承し、書き直さない

最初の動画化はキーフレームとほとんど関係のない結果になった。油彩の筆触が消え、別種の霧深い森へ変わった。

原因は、目標画風を再説明する独立したスタイル段落をプロンプトに入れたことだった。画像から動画を作る場面では誤りである。入力画像がすでに構図、主体、光、画風を定義しているため、プロンプトは動きだけを記述すべきだ。 文章で画風を再定義すると、新しい合成目標として解釈され、入力画像の視覚的性格が押し出される。

修正版では入力画像を厳密な第一フレームとし、その画風を保持するよう明示したが、画風そのものは再説明しなかった。結果はキーフレームの性格に戻った。

同じ変更でもう一つの問題も解決した。初版動画の中盤には約五秒のほぼ静止した区間があった。フレーム間平均差は冒頭の 8.2 から 3.7〜4.7 に下がり、主体の水平移動は全編で画面幅の 9% にとどまった。プロンプト末尾に重ねた五つの否定条件—振り返らない、顔を見せない、腕を動かさない等—が演技を抑えていた。この書き方は動きを抑えるからこそ微動ループには適するが、大きな動きが必要なショットには使えない。「動作は即座に始まり継続する」「静止した間を作らない」という二つの肯定指示を加えると、フレーム間平均差は 11.90、最低値は 2.50 となり、中盤の死区間が消えた。

母親の節の動画化テスト。再生を選択するまで開始せず、自動再生もしない。

質感損失を測る

主観的な報告は「毛羽立つ、鋭すぎる、プラスチックのよう」だった。これは直感に反する。プラスチック感は通常、過度に滑らかな状態を指すのに、観察者は鋭すぎると述べた。そこで高周波エネルギーの総量と位置を分ける必要があった。

方法は、グレースケール画像のラプラシアン応答を取り、局所勾配で領域を分ける。勾配の低い領域を筆触とキャンバス地が存在する平坦面、勾配の高い領域を輪郭とみなし、それぞれの応答強度と比率を測る。

同じキーフレームを動画解像度に縮小したものを基準とした。キーフレームは Midjourney で生成し、人が審査した。動画化した二経路は Midjourney Animate と、LibTV 経由の Seedance 2.0(720p)であり、入力画像は同一である。

出典平坦面の質感輪郭の鋭さ輪郭/表面比表面質感の保持率
キーフレーム(基準)13.3259.864.49100%
Midjourney Animate10.1349.534.8976%
Seedance 2.05.1435.416.8939%

Seedance 出力では平坦面の質感が 61% 低下した一方、輪郭は 41% の低下にとどまり、輪郭/表面比は 53% 上昇した。高周波エネルギーは輪郭へ集中し、表面は平滑化された。これがプラスチック感の構造であり、知覚された「毛羽立ち」は平滑化によって孤立した輪郭だった。 主観と測定は一見矛盾するが、同じ変化を表している。

Midjourney Animate の輪郭/表面比は 4.89 で、基準の 4.49 に近い。細部の量だけでなく、画像全体の性格も比較的保持していた。

ただし混同要因がある。元の出力のビットレートは約三倍異なり(31.8 と 10.6 Mbps)、圧縮条件は同じではない。したがって表は同一条件下でのモデル能力比較ではなく、二つの完全な経路の端から端までの比較として読む必要がある。用途も異なる。本試験の Midjourney Animate は長さを約 5.2 秒に自動決定し、動きの方向制御は弱かった。一方、Seedance は 4〜15 秒の正確な長さと厳密な開始・終了フレームを提供した。質感と制御性の優位は比較の反対側にある。

損失には構造的な理由がある。動画生成は時間的一貫性を保つ必要があるが、筆触、キャンバスの織り、フィルム粒子、点描、ハッチングのようなランダムな高周波質感はフレームごとに対応できず、残せばちらつく。そのためノイズ除去過程で抑制される。手描き質感を動画の美術方針に選ぶことは、動画生成にもっとも不向きな質感群を選ぶことでもある。

指標に一致し、映像には失敗した補正

欠損量が分かれば、後処理で戻すという発想が自然に生じる。キーフレームからガウスぼかしを引いて高周波残差を抽出し、異なる強度で動画フレームに重ねた。

強度 0.6 では平坦面の質感が 5.14 から 13.29 に戻り、基準値 13.31 とほぼ完全に一致した。

同じ石壁領域を一対一で拡大した四分割比較。キーフレーム、動画化経路 A、動画化経路 B、質感を加えた経路 B
四分割比較。右下は指標上ほぼ完全に一致するが、重ねた質感と動く内容の位置がずれ、暗い枝や縞が残像として現れている。

視覚的な結果は失敗だった。高周波残差は元画像の内容に結びついており、カメラが前進し人物が移動すると、重ねた層が内容とずれて残像を生む。

この結果は指標の盲点を示した。平坦面の質感は高周波が存在するかを測るが、正しい位置にあるかは測らない。 基準に完全一致する数値が偽陽性になり得る。より妥当な方向は、元画像の残差ではなく、内容に依存しない反復可能な質感層である。ただし未検証のため、ここでは結論としない。

現時点で成立すること

  • 絵コンテは何が起きるかを規定し、どう見えるかは規定しない。交渉可能項目を明記し、それを理由に適切な画像を却下してはならない。
  • 一つの連続した節ではキーフレームを一枚だけ作り、残りは最終フレームまたは制御可能な局所編集から派生させる。
  • 指定しない部位は補完され、否定形でも言及した対象は描かれる。
  • どの機位でも成立しない条件の組合せがある。文言ではなく機位を変える必要がある。
  • 画像から動画を作る場合、画風は再説明せず継承させる。
  • 動きを抑制する文言は、演技が必要なショットと併用できない。
  • 手描き質感の損失は構造的であり、画面全体がぼけるのではなく、平坦面が消え輪郭が相対的に露出する。本試験では Midjourney Animate と Seedance 2.0 の表面質感保持率は 76% と 39% だったが、長さと動きの制御性は反対の特徴を持つ。

工程はまだ完成していない。動画化段階のツール分担、長さと質感のトレードオフ、実用的な後処理による質感回復はいずれも未確定である。

あわせて読む

02 / LINKS
C01

Claude Fable 5ルート:『守夜』を人のキーフレームで再構築する

Claude Fable 5が進行したFlovaのグリーンフィールド再検証。人が審美判断とMidjourneyキーフレームを担い、AgentがCLI操作、ショット別検収、編成を担当して14.2秒の雰囲気映像を完成させた。

全文を読む ↗
C02

AIアクション演出の失敗記録:ショット生成の破綻とFlovaへの転換

石巨人との戦闘シーンを題材に、Niji、Image2、Seedance、Dreamina、BytePlus、Klingを比較し、動作の因果関係・空間の連続性・三次元距離がショット単位の生成工程を破綻させた理由と、Flovaを次の検証対象にした根拠を整理する。

全文を読む ↗