あるSNSアカウントの露出が、ある日を境にゼロになりました。
AIに原因を調べてもらいました。仮説はすぐ出てきます。しかも、もっともらしい。
結果はこうでした。
| 立てた仮説 | 結果 | |
|---|---|---|
| 1回目 | 冒頭が弱くて、尺も長いから離脱される | ゼロのまま |
| 2回目 | 投稿時刻が悪い（相手国の早朝に出していた） | ゼロのまま |
| 3回目 | 「この経路で投稿すると配信されない」という社内ルール | そのルール自体が間違いだった |
3連敗です。
先に結論をお伝えします。外し続けた原因は、AIの頭の悪さではありませんでした。「1回に2つ変えた」からです。そしてもっと怖いのは、変えたつもりのない項目が混ざっていて、記録がないから検証の有効性すら判定できなかったことでした。
1回目｜2つ同時に変えたので、何も分からなかった
1回目の対策では、冒頭を作り直し、同時に尺を3分の1にしました。
結果はゼロのまま。ここで普通は「両方ダメだったのか」と思います。でも、よく考えると何ひとつ分かっていません。
- 両方とも効かなかったのかもしれない
- 片方は効いたが、もう片方が打ち消したのかもしれない
- そもそも、この2つとは無関係の理由なのかもしれない
2つ変えた実験から得られる情報は、ゼロではなく「解釈が3通りに分かれる」です。分かれた時点で、次の判断には使えません。
2回目｜検証が、あとから丸ごと無効になった
2回目は反省して、投稿時刻だけを変えました。相手国のゴールデンタイムに合わせて出しました。
結果はゼロのまま。「じゃあ時刻は関係ない」と結論しかけたところで、あとから分かりました。
その回は、投稿の経路も違っていたかもしれない。
「かもしれない」というのがポイントです。誰も覚えていませんでした。記録もありません。
この瞬間、2回目の検証は「失敗した」のではなく「そもそも有効だったのか判定できない」状態になりました。時間をかけて実験したのに、結果が使えません。
実験は、記録がない時点で実験ではなくなります。これが今回いちばん高くついた学びでした。
3回目｜前提にしていたルールが、そもそも間違っていた
3回目がいちばん痛い話です。
数週間前、AIはこういう結論を出して、手順書に恒久ルールとして書いていました。
★この経路で投稿すると、配信されません。
必ずもう一方の経路を使ってください。この結論の根拠が、たった2件でした。
しかも、その2件には別の共通点がありました。どちらもアカウントを開設した直後で、そもそも配信が保留される期間と完全に重なっていたんです。
【本当の状況】
原因が2つ同時にあった
A：開設直後で保留されていた（本当の原因）
B：たまたま特定の経路を使っていた（無関係）
↓
Bだけを犯人として指名し、恒久ルールにした
↓
3週間、その前提で判断し続けた崩れたのは一瞬でした。同じ人が、同じ端末で運用している別アカウントが、その「ダメなはずの経路」で普通に配信されていたんです。
これで3週間ぶんの前提が消えました。「できません」の記事でも書きましたが、間違った制約は、それ自体が再検証を止めるので長生きします。
共通の原因は、頭の良し悪しではなかった
3回とも、原因は同じところに帰着しました。
「1回に1つだけ変える」を、一度も守っていなかった1回目は明らかに2つ変えました。2回目は1つのつもりでしたが、知らないうちに2つ変わっていました。3回目は、そもそも2件のサンプルで結論を出していました。
ここでAIの性質がよく見えます。AIは仮説を出すのがとても速い。3つでも5つでも、それらしいものが即座に並びます。
でも「1つずつ試す」という設計は、人間が用意してやらないと守られません。速く仮説が出ることと、正しく検証されることは、まったく別の話でした。
対策｜1行の台帳を作りました
やったことは、拍子抜けするほど簡単です。投稿するたびに1行だけ記録する台帳を作りました。
日時 / 経路 / 作り方 / 尺 / 結果
これだけ。書くのに30秒。これがないと、こういう質問に答えられません。
「先週の検証、あれ有効だったんだっけ？」
台帳があれば5秒で答えられます。なければ、時間をかけた実験が全部「たぶん」になります。手作業の漏れの記事でも「数えられる形にする」と書きましたが、検証も、記録できる形にして初めて検証になるのでした。
効く4つの質問
- 「その検証、1回に何個変えましたか？」——2個以上なら、結果は使えません
- 「そのルール、何件のサンプルで決めましたか？」——2件は「たまたま」と区別がつきません
- 「同じ時期に、他に変わっていたことはありませんか？」——今回の本当の犯人はここにいました
- 「それ、記録に残っていますか？」——いちばん強い質問です
特に3つ目は、AIに聞くより自分に聞いたほうが出てきます。「あの週、他に何かしたっけ」は、現場にいた人しか思い出せません。
おまけ｜同じ日に転んだ、もう2つ
①AIが答えたバージョン番号が、古かった
あるツールの最新版を聞いたら「v3.3.4です」と返ってきました。「今はv4.1では？」と言うと、調べ直して——人間のほうが正しかったです。
検索で拾える情報には、賞味期限があります。「今の値」（バージョン・価格・仕様）は、検索ではなく公式の一次情報を叩き直す。これは自分でも気をつけようと思いました。
②「表示回数が多い＝人気」ではなかった
あるページ群が、検索での表示回数の69%を占めていました。「主力だ」と思ったのですが、クリック率は他の3分の1でした。
表示回数は「検索される回数 × 自分の順位」で決まります。人気の指標ではありません。人通りの多い駅前に看板があるのと、その店に行きたい人がいるのは、別の話でした。
よくある質問
1つずつ変えていたら、遅すぎませんか？
遅く見えて、実際は速いです。今回は3回試して結果的に何も分からなかったので、正味の進捗はゼロでした。1つずつなら3回で3つ分かります。急いでいるときほど、まとめて変えたくなるのが罠でした。
ブログだと、どんな場面ですか？
「タイトルとアイキャッチを同時に変えた」「記事を書き直したのと同じ週にサイト構造もいじった」あたりです。順位が動いても、どちらのおかげか分かりません。私は変更した日と内容を1行メモに残すようにしました。
何件あればルールにしていいですか？
件数より「他の説明がつかないか」だと思います。今回は2件とも「開設直後」という別の共通点を持っていました。1つの結果に2つ以上の説明がつくうちは、ルールにしない。これがいちばん実用的でした。
まとめ｜AIは仮説が速い。設計は人間の仕事
- 犯人当てを3連続で外した。原因は頭の良し悪しではなく「1回に2つ変えた」
- 2つ変えた実験は、解釈が3通りに分かれて次に使えない
- いちばん怖いのは変えたつもりのない項目が混ざること。記録がないと有効性すら判定できない
- 2件で作った恒久ルールが3週間生き延びていた。別の説明が同時に成立していた
- 対策は1行の台帳。日時・経路・作り方・結果。30秒
- AIは仮説を出すのが速い。1つずつ試す設計は、人間が用意しないと守られない
直しても直らない、という状態が続いているなら。
次の一手を打つ前に、いちど聞いてみてください。「前回、1回にいくつ変えましたか？」私の場合、答えは「2つ」で、そこから3週間さかのぼることになりました。
