※本記事はアフィリエイト広告（PR）を含みます。
ある動画を見ていて、目がちらつきました。背景がなんとなくチカチカする。うまく言葉にできないので、AIにこう伝えました。「なんかちらつくんだけど」。
AIは実際に測ってくれて、こう返してきました。
背景は安定しています。ばらつきは0.25です。問題ありません。数字つきの、いかにも根拠のある報告です。でも私の目には、あいかわらずちらついて見えている。それで測り方を変えて、もう一度測ってもらいました。今度は1画素ずつ。
画面の72.9%の画素が、コマごとに動いていました。数字は、どちらも正しかったんです。間違っていたのは、測っているものでした。
先に結論をお伝えします。AIの「測って確認しました」がいちばん危ないのは、嘘をついていないのに結論だけ間違っているときです。原因はたいてい2つ、①測る粒度が粗い ②基準を別の場所から借りてきている。この記事では、その見抜き方を書きます。
原因①｜平均は、都合の悪いものを親切に消してくれる
最初の測り方は、こうでした。
【1回目】
広い範囲をまとめて平均する → その平均値がコマごとにどう動くかを見る
→ 結果：ほとんど動かない（0.25）＝「安定」もうお分かりかもしれません。平均する時点で、細かいちらつきは打ち消し合って消えています。ある点が明るくなり、隣の点が暗くなれば、足して割った瞬間にゼロです。
でも人間の目は平均を見ていません。目は、隣り合う点の食い違いのほうを見ています。だから測定値が静かでも、見ている人にはザワザワして見える。
これはブログ運営でもまったく同じことが起きます。
- 「平均滞在時間は伸びています」——実は数本の記事が伸ばしていて、残りは下がっている
- 「サイト全体の直帰率は良好です」——収益記事だけが極端に悪い
- 「今月のPVは横ばい」——伸びている記事と沈んだ記事が相殺しているだけ
横ばいのグラフほど疑ったほうがいい、というのが今回の学びでした。平均は、問題を消すのではなく隠します。
原因②｜基準を、別の場所から借りてきていた
実はもう一段手前にも間違いがありました。そもそも最初の判定は「差が7未満だからOK」というものでした。この「7」という基準は、以前べつの素材で決めた数字だったんです。
そのときの素材は写真でした。写真には細かい模様があるので、多少の明るさの違いは模様に紛れて見えません。でも今回の背景はのっぺりした単色。隠れる場所がないので、わずかな差でもはっきり見えます。
ルールは、作られた文脈ごと覚えておかないと、いつか間違った場所で発動します。「7未満ならOK」は、写真という前提を外した瞬間にただの数字になっていました。
これは前回書いたルールを埋め込む話の裏側でもあります。埋め込んだルールほど、なぜそうしたかを忘れやすい。基準には「何のために」を1行くっつけて保存しておくようにしました。
なぜAIは自分で気づけないのか
誤解のないように書いておくと、AIは嘘をついていません。頼まれたとおりに測り、出た数字を正直に報告しています。
問題は、測り方が間違っていることは、測っている側からは見えないことです。0.25という数字を見ても、その数字が「消えたあとの数字」だとは分かりません。完了報告の記事でも書いたことですが、AIの報告は手順が正しく実行されたことの証明であって、結論が正しいことの証明ではないんです。
そして今回もいちばん最初に気づいたのは、数字ではなく人間の目でした。「なんかちらつく」という、まったく数字になっていない言葉のほうが正しかったわけです。
効く3つの質問
①「それ、どの単位で測りましたか？」
全体の平均なのか、1つずつなのか。まとめた瞬間に消える問題があるので、粒度を必ず聞きます。「記事全体の平均ですか、記事ごとですか」だけで、隠れていた問題が出てきます。
②「その基準は、どこで決めた数字ですか？」
今回と同じ条件で決めた基準かどうか。借りてきた基準は、借りてきた文脈でしか正しくありません。出どころを聞くだけで、流用に気づけます。
③「見えている人がいるのに数字が出ないなら、測り方を疑いませんか？」
これがいちばん大事だと思っています。体感と数字が食い違ったとき、まず疑うべきは体感ではなく測り方です。少なくとも、両方を疑う。数字が出たからといって、見えているものが消えるわけではありません。
よくある質問
体感を優先すると、数字を見る意味がなくなりませんか？
数字を捨てる話ではありません。体感は「どこかがおかしい」を検知するのが得意で、原因を特定するのは苦手です。数字はその逆。今回も「ちらつく」という体感が入口になり、測り方を細かくして原因にたどり着きました。役割が違うだけです。
毎回すべてを細かく測るべきですか？
いいえ、それは重すぎます。ふだんは粗く見て、体感とズレたときだけ細かく測り直す。この切り替えができれば十分だと思います。大事なのは「細かく測り直す」という選択肢を持っておくことです。
ブログの数字だと、まず何を分けて見ればいいですか？
記事単位に分けるのがいちばん効きます。サイト全体の平均は、記事数が増えるほど鈍くなるからです。私は方針転換の判断のときも、全体平均では何も見えず、分けて並べて初めて答えが出ました。
まとめ｜数字は正しくても、結論は間違う
- AIの「測って確認しました」は、手順の証明であって結論の証明ではない
- 原因①平均は問題を消してくれる。人間の目は平均ではなく、食い違いのほうを見ている
- 原因②基準の流用。ルールは作られた文脈ごと覚えておかないと、違う場所で誤作動する
- 効く質問は「どの単位で測りましたか」「その基準はどこで決めましたか」
- 体感と数字が食い違ったら、測り方のほうを疑う
もし手元のグラフが、ずっと横ばいで平和だったら。それは何も起きていないのではなく、足して割ったせいで見えなくなっているだけかもしれません。
一度だけ、分けて並べてみてください。私はそれで、72.9%を見落としていたことを知りました。
