手描きまたは実写だけでミュージックビデオを制作する場合、一般に大きな制作資源が必要となる。この一年、私は関連作業を半自動の映像制作工程として整理してきた。企画、美術方針、重要な判断は私が担当し、AIには静止画生成、アニメーション生成、一部の反復処理を割り当てる。本稿では、この工程の全体構造を記録する。数値は実際の制作から得たものであり、各規則は複数回の修正と検証に基づいている。
これは、一文から完成映像を生成する方法ではない。AIは描画とレンダリングの費用を下げる一方で、選定と評価の密度を高める。どの視覚方向を採用するか、どの静止画をアニメーション化するか、各ショットを音楽のどの位置へ合わせるかを継続的に判断する必要がある。道具が変化しても、選択は制作の中心的な作業である。
八段階の制作工程
完成した楽曲を公開用ミュージックビデオへ変換する工程は、次の八段階に分けられる。
- 楽曲の確定（Sunoによる生成と選定）;
- 監督用スクリプト（全体原則、ショット表、A/B/Cの動きの等級）;
- 静止画制作（niji → GPT、四項目の基礎制約を適用）;
- 画像選定（各キーショットを二点から三点の候補から決定）;
- アニメーション生成（Seedance、六項目の動きの制御原則を適用）;
- 二回の再確認（filmstripのコンタクトシートで各ショットを検査）;
- カラー調整と納品（基準ショットに対するアフィンマッチング）;
- 編集と公開（剪映 / CapCut → 抖音）。
画像選定と再確認は私が直接行う。自動処理は寸法やループの継ぎ目を検査できるが、視覚品質と物語への適合には人の判断が必要である。その他の工程は、可能な範囲で標準化し、自動化している。
プロンプトの分離：画像は外観、動画は運動を定義する
この工程では、プロンプトを二つの層へ明確に分ける。
- 最初のフレーム用画像プロンプトは、視覚結果だけを記述する。スタイル、光、構図、フィルム質感、hexパレット、人物の固定要素を含み、スタイルに関する語はすべてこの層へ集約する;
- 動画プロンプトは、動きだけを記述する。動く主体、動き方、カメラワークを指定し、スタイルに関する語は繰り返さない。
画像プロンプトにカメラワークを加えると、モデルが運動傾向を静止画へ固定する場合がある。動画プロンプトに大量のスタイル語を繰り返すと、画風のちらつきや人物の顔の変形が生じやすい。外観と運動を分離することで、二つの生成段階の役割衝突を減らせる。
この画像と動画の分離方法、および後述する構造化されたアニメーション構文と限定的なカメラ語彙は、主にHiggsfieldが公開している方法論を参照し、本企画の暗い視覚方向に合わせて調整した。公開手法を基礎とし、具体的な制約は本制作での検証結果に基づく。
静止画生成：四項目の基礎制約
- 画風の基準を最後に配置する：参照画像の最後を、承認済みの昼景または夜景の基準画像に固定し、モデルを視覚基準へ優先的に合わせる;
- 灰色の基調を制約する：世界を灰色に保ち、暖色を灯の届く範囲に限定して、画面全体の黄変を抑える;
- 細い筆触を指定する：デジタルノイズと過度に粗い粒子を減らす;
- 顔の質感を制約する：血色、細かな表面、油彩的なハイライトを保ち、過度に平滑で質感のない顔を避ける。
- hexパレットをプロンプトへ入れる：確定済みの十二から十五個のhex値を直接入力し、配色を記述的な言葉から明示的な制約へ変換する;
- スタイルプリセット辞書を使用する：「ソウル系油彩 · 夜」「フラッシュバック」「蝋燭の祭壇」などの組み合わせを選び、主体だけを記入して、ショットごとのスタイル再記述を避ける;
- 固定したスタイル宣言を維持する：統一した
Style: painterly dark fantasy, oil-painting texture, Rembrandt single-source lighting, chiaroscuro. No game engine, no 3D render look.を使用する。
- 顔や身体の比率を、後工程の引き伸ばしや顔の置換によって修正しない。これらは新たな変形を生じやすいため、不適切な結果は生成段階へ戻して再度サンプリングする。
アニメーション生成：六項目の制御原則
- 「呼吸する」「明滅する」など意味範囲の広い動詞を避ける。指定していない発光リングや生物的構造が追加される可能性がある;
- 静止させる対象には、「明るさは完全に一定」「決して大きくならない」など、明示的な制約を使用する;
- 各ショットで動きの発生源を一つから二つに限定し、その他の対象を個別に静止させる;
- ぼけた状態を維持する対象には、「開始から終了までぼけた状態を保つ」と記述する;
- ループ映像では、同じ画像を最初と最後のフレームに使用し、カメラを固定する;
- 炎を主要な動きの発生源にしない。主体位置の炎は生成中に拡大しやすく、この制約は五回連続の失敗に基づく。
実測では、緩い表現を用いた場合の初回通過率は67%で、制約を明示すると88%へ上昇した。火を含むショットでは、霧、雪、髪、灯芯の明るさを動きの発生源に置き換えられる。静止画のまま保持し、編集段階でカメラワークを追加する方法もある。
アニメーション用プロンプトには散文ではなく、プラットフォームの構造化構文を使用する。これにより、動作を音楽上の位置へ正確に合わせられる。
Total: 10s / 2 shots / 16:9
Shot 1: 0–3s: she raises the lantern slowly...
3–5s: fog drifts left, [VFX: embers rising]
Shot 2: @image is the first keyframe and style reference
camera: slow dolly in, sharp focus throughout特に二点を制御する。第一に、タイムスタンプで各動作のリズム上の位置を規定する。第二に、否定的な表現を肯定的な目標状態へ書き換える。no blur ではなく sharp focus throughout と記述する。公開例と本企画の検証では、禁止文の中で不要な要素を直接名指しすると、その要素が生成される場合がある。
カメラワークは、static / pan / tilt / dolly / tracking / crane / push-pull / orbit の八つの意味要素に限定し、slow などの速度修飾語を組み合わせる。一つのショットに主要なカメラワークを一つだけ設定した場合、使用可能率は79%だった。複数の主要なカメラワークを組み合わせると34%へ低下した。
モデルの分担とタスク配置
各モデルの能力に応じて作業を割り当て、既知の弱点を固定した制約で補う。
| プラットフォーム / モデル | 強み | 制約 | 担当作業 |
|---|---|---|---|
| niji 7 / Midjourney | 美術上の上限が高く、人物設定と画風の確立に強い | 精密な制御と一貫性に限界がある | 人物設定、画風の基準、カバー |
| GPT image2 | 指示への追従が正確で、差分修正と一括生成が可能 | nijiより美術上の上限が低く、全体が黄色へ寄りやすい | 場面静止画、人物差分、感情ショット |
| Seedream | 大きな出力サイズと低い費用 | 全体の質感は中程度 | 大判画像の基礎と草稿 |
| Seedance 1.5-pro | 最初と最後のフレームを使う動画とループが安定し、費用が低い | 炎の拡大と、大きな動作中の顔の変形 | アニメーション生成の主力 |
| 即夢 Jimeng | 炎と効果の制御に優れる | 一括処理と一貫性が弱い | 炎を含むショットの代替 |
| Suno / Whisper | 楽曲生成 / 行単位の文字起こしとタイムコード調整 | — | 音楽と時間軸の支援 |
Seedanceには2.0もあり、複雑なカメラワーク、戦闘、特殊効果において高い品質上限を持つ一方、費用と残高条件も高い。現在の主力は1.5-proであり、2.0は重要な演技ショットにだけ使用を検討する。両者には同じ制作制約を適用する。最終品質はモデルだけでなく、ワークフローとプロンプトにも依存するため、モデルの変更時に制作構造全体を置き換える必要はない。
実測費用
| 項目 | 制作データ |
|---|---|
| 静止画 | 一枚¥0.5〜0.7、全編約70枚、合計約¥35〜50 |
| アニメーション | 5秒¥11.3 / 10秒¥22.5、42本で合計約¥475 |
| 初回通過率 | 緩い表現67% / 明示的な制約88% |
| 全工程 | 作詞 → リリース → MV公開、一曲あたり約四日 |
費用の制御には、動きの等級分けが重要である。A級の完全アニメーションは実際の演技が必要なショットだけに使用し、全体の25%以下に抑える。B級は雰囲気を担う主体へ小さなループを付与する。C級は静止画を保持し、編集段階でカメラワークを追加する。全26ショットをA級で処理すると¥900を超えるが、等級分けによって約¥475まで抑えられる。静止感を重視する楽曲では、B級とC級の緩やかな動きも視覚方針に適合する。
カラー調整、編集、公開
- カラー調整：全編で基調色が最も正確なショットを基準とし、チャンネルごとのアフィンマッチングを混合係数0.6で適用する。完全な一致は暖色のクローズアップを弱めるため、元の色を一部残す;
- 編集：ループ映像を継ぎ目なく反復する。人物の静止画には3Dカメラワークを使用しない。AI視差が顔を変形させるため、緩やかなプッシュと小さな回転を使用する。夢への転換には、ぼけによる閉幕とディゾルブを用いる;
- 書き出し：解像度とフレームレートを元の素材と一致させる。たとえば24fpsの素材を60fpsで出力しない。ワンクリック高画質化とAIフレーム補間を無効にし、生成式後処理によるアーティファクトを避ける;
- 公開：人物の顔と有効な光源を同時に含むカバーフレームを手動で選ぶ。フィード内での識別性を下げる、黒い標準先頭フレームは避ける。
主な問題と対処
| 問題 | 現象 | 対処 |
|---|---|---|
| 動画プロンプトに過剰なスタイル語を含める | 画風のちらつきと顔の変形 | スタイルは最初のフレーム用画像プロンプトに限定し、動画では運動だけを記述する |
| 否定形で禁止する | no blur などの語が不要な現象を誘発する | 制約を肯定的な目標状態へ書き換える |
| 散文式のアニメーション指示 | ショットが音楽上の位置へ正確に合わない | 構造化構文とタイムスタンプを使用する |
| 一つのショットに複数の主要カメラワークを置く | 揺れと画質低下 | 各ショットに一つの主要なカメラワークだけを残す |
| 配色を形容詞だけで記述する | ショット間で色調が変動する | hexパレットをプロンプトへ入れる |
| 炎を動きの発生源にする | ショット中に炎が拡大する | 霧、雪、髪を動きの発生源に変更する |
| 後工程で人物の顔を修正する | 引き伸ばしと顔の置換が新たな変形を生む | 生成段階へ戻して再度サンプリングする |
| 編集ソフトでAI後処理を使用する | 顔と油彩質感にアーティファクトが生じる | 該当機能を無効にし、元の素材のフレームレートを維持する |
結論
この工程は創作上の判断を減らすのではなく、制作作業を再配分する。AIは生成と反復処理を担当し、人は視覚方針、ショット、リズム、最終選定を担う。道具とモデルが更新されても、視覚基準、動きの制約、確認方法は安定した制作基盤として維持できる。