GSCの期間比較で全ページ暴落に見えた ― 曜日構成とデータ遅延の罠

タイトルやメタディスクリプションを見直した記事群の効果をSearch Consoleで測ろうとして、施策前後の期間比較を出したところ、ほぼ全ページが表示回数-60〜80%・クリック-80〜100%という壊滅的な数字が並びました。結論から言うと、これは施策の失敗ではなく比較期間の作り方の失敗です。短い記事ですが、同じ集計ミスをする人は多いはずなので残しておきます。

何を間違えたか ― 期間の長さと曜日構成が揃っていない

組んだ比較は「施策前の14日間」対「施策後の5日間」でした。この2つの期間には差が3つ埋まっています。

• 曜日構成が違う。後の5日間は土日を2日含み、週末比率が40%。前の14日間は29%。技術系サイトは週末のトラフィックが平日の2〜3割まで落ちるので、これだけで平均が大きく歪む
• 直近のデータは未確定。Search Consoleの数字は確定まで2〜3日かかる。実際、当日「3クリック」と表示されていた日が、翌日見ると9クリックに増えていた。比較の後半に「まだ数字が入りきっていない日」が入ると、その分だけ暴落に見える
• 期間の長さ自体が違う。合計値で比べれば14日と5日では3倍近い差が最初からある

気づいた決め手 ― 触っていないページも同じだけ沈んでいた

集計を疑うきっかけは対照群でした。見直しを入れた記事だけでなく、何も触っていない記事も同じ率で下がっていたのです。施策の効果や副作用なら、対象ページと非対象ページに差が出るはず。全ページが同率で沈むのは「サイトに何かが起きた」か「集計の物差しが歪んでいる」かのどちらかで、今回は後者でした。

正しい比較のやり方

やり直した手順は3つです。

• 曜日構成を揃える。施策後が水〜日の5日間なら、施策前も水〜日の5日間と比べる。週単位（7の倍数の日数）で切るのが一番安全
• 確定データだけ使う。期間の終端を3日以上前に置き、当日・前日を比較に入れない
• 対照群と並べる。施策対象のページ群と、触っていないページ群の変化率を並べて出す。サイト全体の変動（季節・アルゴリズム更新・曜日）は両方に同じように乗るので、差分だけが施策の効果になる

なお、そもそも施策後3〜5日ではリライトの評価はできません。クロールと再評価が回るまで、最低でも2週間は置いてから曜日を揃えた週次比較で見るのが現実的です。「効果が出ていない」と早合点して余計な手直しを重ねる方が、よほど順位を壊します。