2つのAIに絵を選ばせたら、7組とも答えが違った|ClaudeとChatGPTの理由を比べて決めた話

2つのAIに絵を選ばせたら、7組とも答えが違った|ClaudeとChatGPTの理由を比べて決めた話

結論:ClaudeとChatGPTに同じ絵を選ばせたら、7組とも選んだ絵が違いました。答えが割れたときは、どちらかをすぐに採用するのではなく、それぞれの理由を並べて比べると、判断の材料が増えます。理由を並べて決めた結果、ChatGPTの案を5つ、Claudeの案を2つ採用しました。

うちでは、作業用の動画の背景に使う絵を、画像AIに描いてもらっています。画像AIは1回に4枚ずつ描くので、その中から1枚を選ぶ作業があります。この選定は、ふだんAI(Claude)に任せています。この記事では、そこへChatGPTの意見を足した日のことと、そのときの比べ方を置いておきます。

目次

何が起きたか:同じ注文で選ばせたら、7組とも答えが違った

その日の選定は7組、全部で28枚でした。いつもどおりClaudeに選んでもらうのに加えて、「今回はChatGPTにも意見を聞いてみて」と頼みました。ChatGPTには同じ注文と同じ画像を渡し、Claudeの答えは先に見せませんでした。先に見せると、ChatGPTがそれに引っぱられるかもしれないからです。

結果は、7組とも選んだ位置が違いました。一致は0です。

7組の選定結果。Claude(部下)とChatGPTで、選んだ位置が7組とも違った(一致0/7)。再現図
7組の選定結果。Claude(部下)とChatGPTで、選んだ位置が7組とも違った(一致0/7)。再現図

今回の7組では、どちらも注文の条件に合う絵を選んでいました。条件を満たす絵が4枚の中に2枚以上あれば、どれを選ぶかは「何を大事にするか」で変わります。

理由を並べたら見えたこと:相手の理由が、自分の前日の教訓と同じだった

そこで、答えではなく、それぞれが書いた理由を1組ずつ並べました。たとえば、花と湖の道が写った1組では、こう分かれていました。

  • Claude(右上):道・家・花・雲がぜんぶ入っている
  • ChatGPT(右下):花が大きすぎないので、動画にしても崩れにくい

この絵は、あとで動画AIに少しだけ動かしてもらいます。Claudeは前の日に「動画AIは、草花を株ごと大きく揺らしがち」と覚えたばかりでした。ChatGPTの理由は、その教訓とほぼ同じことを言っていました。それなのに、この組でClaudeは花の大きい絵を選んでいました。少なくとも選んだ結果を見るかぎり、前日の教訓は選び方に表れていませんでした。

同じ1組の、選んだ理由の比較。ChatGPTの理由は、Claudeが前の日に覚えた教訓と同じだった。再現図
同じ1組の、選んだ理由の比較。ChatGPTの理由は、Claudeが前の日に覚えた教訓と同じだった。再現図

答えだけを並べていたら、「意見が割れた」で終わっていたと思います。理由を並べたから、どちらの見方が今回の用途に合っているかを判断できました。

どう決めたか:ChatGPT案5つ、Claude案2つ

Claudeは、7組それぞれについて「Claude案/ChatGPT案/比べてみて→おすすめ」の表を作りました。決めたのは人間です。最終的にはこうなりました。

採用数決め手
ChatGPTの案5組花が大きすぎず動画で崩れにくい/小物がはっきり見える/手前の花と映り込みがある など。2組は「どちらでも成り立つ」中から選んだ
Claudeの案2組ChatGPT案の絵には光の筋があり、動画AIがそれを動かしそうだった/もう1組は、両方の長所と短所を聞いたうえでの好み

Claudeの案が残った2組のうち、1組は「動画AIが光の筋を動かしてしまいそう」という心配が理由でした。もう1組は、両方の長所と短所を聞いたうえでの好みです。今回の選定では、どちらが優れているかを決めるより、それぞれが何を重視していたかを比べることが役に立ちました。

ついでに直したこと:番号ではなく「左上・右下」で書く

この表を受け取った人間の最初の注文は、選んだ中身ではありませんでした。「番号じゃなくて、左上とか右下とか、位置で書いてほしい」。

Claudeは①〜④の番号で書いていました。でも画面の4枚を見ながら「③」と言われると、頭の中で「③=左下」と変換しなければなりません。7組ぶん続くと、地味に疲れます。人に渡す文面は、相手が見ている画面の言葉で書く。これもこの日から決まりにしました。

2つのAIに選ばせるときのやり方(うちの型)

  • 同じ注文・同じ材料を渡す(片方にだけ補足を足さない)
  • 片方の答えを、もう片方に先に見せない(引っぱられるのを防ぐ)
  • 答えと一緒に「理由」を必ず書かせる
  • 表にして並べる:「A案/B案/比べてみて→おすすめ」の3列
  • 決めるのは人:用途(今回なら「あとで動画にする」)に照らして理由を選ぶ
  • 位置や順番は、相手が見ている画面の言葉で書く(左上・右下など)

答えが一致していても、理由を比べれば確認になります。今回のように答えが割れたときは、違いそのものが判断の材料になりました。

まとめ

  • ClaudeとChatGPTに同じ絵を選ばせたら、7組とも選んだ位置が違った
  • どちらも条件に合う絵を選んでいた。割れたのは「何を大事にするか」の違い
  • 理由を並べたら、ChatGPTの理由はClaudeが前日に覚えた教訓と同じだった
  • 採用はChatGPT案5つ・Claude案2つ。決めたのは人
  • AIに選ばせるなら、答えだけでなく、理由まで比べる

ChatGPT・Gemini・Copilotの使い分けは、ChatGPT・Gemini・Copilotの違いと使い分けに書いています。今回の件は、うちのYouTubeでも動画にしています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

AIを「部下」として毎日の実務に使っている運営者です。ブログ・note・YouTubeの制作から、音楽や動画の制作、データの集計まで、ほとんどの作業をAIと分担しています。
AIに任せてうまくいったこと、間違えたことを、実際の画面と数字つきで記録しています。
運営者情報はこちら

目次