AIが修正案をA・B・Cと出してきて、どれも実行されていなかった

AIが修正案をA・B・Cと出してきて、どれも実行されていなかった

画像の直しをAIに頼んだら、修正案がA・B・Cと3つ返ってきました。それぞれにメリットとデメリットが書いてあり、推奨は「A案」。指示文の例まで添えてくれます。丁寧です。

A案でお願いします、と頼みました。画像は変わりませんでした。B案でも、C案でも変わりませんでした。理由を聞いたら、こう返ってきます。

その通りです(笑)。実際には A案・B案・C案のどれも画像自体は修正されていません。……「A案ならこう直します」という説明をしただけで、実際の画像編集処理が実行されていないからです。

今日は、この「提案しただけで実行されていない」を見分ける話です。悪いのは頼んだ側ではありません。会話の中に、見分ける手がかりが1つも無いからです。

定食屋のカウンターで、マスコットが机の上に3枚の無地のメニュー札を並べて両手をおなかの前で組み、向かいの空いた皿を見つめているシーン
目次

なぜ気づけないのか(3つ)

① 提案文が丁寧なほど、着手済みに見える

今回の返事には、症状の特定も、案ごとの利点と欠点も、推奨も、安全な指示文も入っていました。ここまで書ける相手が、まだ何もしていないとは思いません。「やります」と「やるとしたらこうします」の境目が、言葉の上で消えます。

② 3回外すと、人は「案の中身」を疑う

A案が効かないならB案、それもだめならC案。私はそう動きました。実際には一度も実行されていないので、案をいくら変えても結果は同じです。疑う対象が違っていました。

③ 「正常です」の誤報は、疑うきっかけがない

エラーが出れば疑えます。今回は一度もエラーが出ていません。前にも同じ型で転んだことがあって、そのときは「保存しました」と8回報告された画像が全部不良品でした。異常の誤報は気づけますが、正常の誤報は気づくきっかけがありません。

見分け方は1つ。人の目で判断しない

「変わった気がする」は、かなりの確率で起きます。特に、直したい箇所が小さいときほど起きます。なので、目で見ないでファイルの中身で見ます。

昨日、自分の動画で実測しました。うちのYouTubeのショート動画を、笑い顔の絵を足して作り直したものです。

作り直す前と後のShorts。尺・解像度は完全に同じで、サイズとmd5だけが違う
作り直す前と後のShorts。尺・解像度は完全に同じで、サイズとmd5だけが違う

尺は1000分の1秒まで同じ49.949秒、解像度も同じ。「尺」という1つの数字だけを見ていたら、「変わっていない」と誤判定していました。中身は別物です。逆に言えば、指紋(md5)まで見れば一発で分かります。

確かめる道具(10行・コピペで使えます)

# samechk.py — 2つのファイルが本当に変わったかを出す
import hashlib, os, sys

def stat(p):
    return os.path.getsize(p), hashlib.md5(open(p, "rb").read()).hexdigest()

a, b = sys.argv[1], sys.argv[2]
sa, ma = stat(a)
sb, mb = stat(b)
print("%-24s %10d B  %s" % (os.path.basename(a), sa, ma))
print("%-24s %10d B  %s" % (os.path.basename(b), sb, mb))
print("サイズ差 %+d B" % (sb - sa))
print("→ " + ("中身は変わっていない(同一ファイル)" if ma == mb else "中身は変わった"))

使い方は python samechk.py 古いファイル 新しいファイル です。実行するとこうなります。

samechk.py の実行結果。変わった場合と、まったく実行されなかった場合の見え方
samechk.py の実行結果。変わった場合と、まったく実行されなかった場合の見え方

Pythonを使わない人は、Windowsなら certutil -hashfile ファイル名 MD5、Macなら md5 ファイル名 で同じ指紋が出ます。2回実行して同じ文字列なら、何も起きていません。

郵便局の窓口で、マスコットが右腕1本でカウンターの上の無地の受領印を指差し、左腕は体の左側に添えているシーン

対策は4つ

  1. 頼むときに「提案はいらない」と先に言う——「案はいりません。今すぐ実行して、結果のファイルを出してください」。案が3つ返ってきた時点で、それは実行ではありません
  2. 変わったかは目で見ない——md5かファイルサイズで見る。人の目は「それらしい絵」に弱く、数字は弱くない
  3. 2回同じ結果が出たら、指示ではなく実行を疑う——変えるのは案ではなく、確認する対象です
  4. 「次のターンで実行できます」と言われたら、その場で「ではやって」と返す——この一言がないと、会話が1往復ぶん空で進みます

ブログ運営に置き換えると

同じことは、画像以外でも起きます。

  • 記事の一括修正——「50本のPR表記を直しました」。本番の記事一覧を数えて確かめる。ローカルの控えではなく本番を数える
  • バックアップ——「完了しました」。中身が0キロバイトの完了はバックアップではありません
  • 画像の差し替え——キャッシュが残っていると、直っていないのに直って見えます。URLの末尾に ?x=123 を足して読み直す
  • 予約投稿——「設定しました」。公開後の記事一覧という一次情報を見る

共通しているのは、「完了」の報告に一次情報を1つだけ添えさせることです。保存先、大きさ、指紋、一覧。それが答えられない完了は、まだ完了していません。

まとめ|案が3つ返ってきたら、それは実行ではない

  • AIは修正案をA・B・Cと丁寧に出したうえで、1つも実行していないことがある。エラーは出ない
  • 丁寧な提案ほど着手済みに見える。3回外すと、人は案の中身を疑ってしまう
  • 尺や寸法など1つの数字だけでは見抜けない。実測では、作り直した動画の尺が1000分の1秒まで同じだった
  • md5で指紋を見れば一発。10行の道具で足ります
  • 対策は、提案はいらないと先に言う/目で見ない/2回同じなら実行を疑う/「ではやって」と返す

ちなみに、このとき直そうとしていたのは、マグカップの取っ手が両側についている絵でした。同じ症状で、うちは前にも一度転んでいます。あのときは絵の壊れ方で、今回は直し方で転びました。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

AIを"部下"のように使って、ブログ運営や副業を効率化している運営者です。
煩雑な作業はAI部下たちに任せて、空いた時間を仕事・趣味・大切な人に。
「楽して稼ぐ」ではなく「時間を取り戻す」をモットーに、AI活用のリアルを正直に発信しています。

目次