動画AI(Kling)の指示は短い肯定形で|「止める物」を並べるほど画面が寄った失敗と、一発で通った4行

長い指示で寄った窓辺と、短い4行で一発で通った指示の再現図

結論:動画AIに「ここだけ動かして」と頼むときは、「やるな」を並べず、短い肯定形で書きます。1行目に「カメラは固定」、次に動く物だけ、最後に「ほかは止まっている」。うちでは、止める物を十数個並べた長い指示が2回続けて失敗し、この形の4行(動かす物も湯気だけに絞った)で一発で通りました。

うちでは、画像AI(Midjourney)で描いた窓辺の絵を、動画AI(Kling)で少しだけ動かして、作業用の動画を作っています。この記事では、失敗した指示と、通った指示、その間に何を直したかを置いておきます。

目次

何が起きたか:湯気だけのはずが、画面ごと寄ってきた

頼みたかったのは、窓辺のカップの湯気と、窓の外の池の水面だけを、少し動かすことでした。ところが、できた動画は、5秒で画面が1.6%前に寄っていきました。左の窓がパタッと揺れ、湯気は池のほうまで昇っていきました。どれも数字で測って確かめています。

窓辺の絵がじわじわ寄っていき、窓も揺れた。実測は5秒で1.6%前進。再現図

失敗した指示:止める物を十数個並べた

1回目の指示は、うちのAI部下(Claude)が書いた、この長い文でした。カメラを動かさないこと、動かす物は2つだけであること、そして止める物を十数個並べています。

Static locked camera: the camera does not move, zoom or pan at any moment of the clip. Only two things move, softly: a thin curl of steam rises slowly from the mug of caramel latte and stays directly above it, below the top of the window; and the water of the pond moves with very small, gentle, slow ripples in place, so that the reflection of the maples wavers only a little: the reflected trees keep exactly their shapes and their colours in every frame. The maples, the birches and every leaf, the grassy bank, the hills, the sky, the pie, the plate, the glass jar, the cosmos, the mug, the sill, the window frame and the two open window panes stay perfectly still, and the light stays exactly the same.

2回目は、カメラを動かさない言い方をさらに強めました。それでも、また寄りました。

見抜いたのは社長:凪の池に、さざ波を頼んでいた

2回目の失敗を見た社長が言いました。「水面が凪なので、波を立てて、そこにフォーカスしようとしてるのでは」。動画の池の部分を切り出して見ると、鏡のように静かな池に、動画AIが波紋の輪を描き足していました。

元の絵には無かった波紋が、動画では描き足されていました。波紋と画面の寄りに関係があった可能性はありますが、波紋が寄りの原因だったと確かめたわけではありません。それでも、うちでは念のため、凪の水面には「さざ波」を頼まないことにしました。

通った指示:短い肯定形の4行

社長が、この状況をChatGPTに相談しました。返ってきたのは、次の3つの見立てです(どれも、今回の結果だけで確かめられたものではありません)。

  • 禁止の羅列は、「ズーム」「パン」などの言葉そのものを拾ってしまう
  • 止める物を並べるほど、動かしてよい物の解釈の余地が増える
  • 動く物が少ないと、動画AIは勝手に寄りを足しがち

そこで、こういう形の4行に書き直しました。1行目に単独でカメラ固定、2行目に動く物だけ、残りで「ほかは止まっている」と状態を言うだけです。動かす物も、湯気と池から、湯気だけに絞りました。

Camera locked off.
A single short, thin wisp of steam slowly rises just above the latte and fades.
Everything else is frozen and completely still.
Fixed framing throughout the entire shot.

この形で、一発で通りました。動画の中の場所ごとのずれを測ると、湯気以外の各部分のずれは0.1画素以内でした。ただし、文章を短くしたことと、動かす物を減らしたことを同時に変えたので、どちらが効いたのかまでは確かめていません。

左=止める物と禁止を並べた長い指示(要約)。右=短い肯定形の4行で一発成功
左=止める物と禁止を並べた長い指示(要約)。右=短い肯定形の4行で一発成功

書き方のコツ(うちの型)

  • 1行目に単独で Camera locked off.(カメラ固定)
  • 動く物は1〜2文だけ。何が、どう動くかを肯定形で
  • 締めは「ほかは止まっている」「画角は最後まで固定」と状態で言う
  • 「ズームするな」「パンするな」のような禁止の羅列はしない
  • 止める物を一つずつ並べない
  • 元の絵に無い動き(凪の水面に波など)を頼まない

ただし、すでに長い指示で安定している型まで、すぐには壊していません。うちでは、動く物が少ない回(湯気だけ、滝だけ)から短い型に切り替えて、結果を見ながら広げています。

コラム:セカンドオピニオンは、別のAIに

長い指示を書いたのも、禁止を強めたのも、同じAI(Claude)でした。同じAIに直させると、同じ考え方の中で強めるだけになりがちです。今回は、社長が別のAI(ChatGPT)に聞いたことで、書き方そのものが変わりました。

まとめ

  • 止める物を並べ、禁止を強めた長い指示は、2回とも画面が寄った
  • 凪の水面にさざ波を頼んだ回は、元の絵に無い波紋が描き足された(寄りとの関係は未確認)
  • 1行目にカメラ固定、動く物だけ、残りは状態の肯定形。この4行(動かす物は湯気だけ)で一発で通った
  • 直すときは、別のAIの目を入れる

「〜だけ動かして」が効いたかどうかを数字で確かめる方法は、動画AIで「ここだけ動かして」が効かないときの見分け方で書いています。今回の件は、うちのYouTubeでもShortsにしています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

AIを「部下」として毎日の実務に使っている運営者です。ブログ・note・YouTubeの制作から、音楽や動画の制作、データの集計まで、ほとんどの作業をAIと分担しています。
AIに任せてうまくいったこと、間違えたことを、実際の画面と数字つきで記録しています。
運営者情報はこちら

目次