RCTとは？マーケで使うランダム化比較試験の意味とABテストの違い

RCTなら必ず正しい答えが出ますか？

RCTは、施策の効果をズレにくく確かめるための比較方法です。
日本語では「ランダム化比較試験」と呼ばれます。
広告、LP、価格テストでも、条件をそろえてランダムに比べれば「何が効いたのか」をかなり見やすくできます。

この記事では、RCTの意味をまず短く押さえます。
そのうえで、マーケでどう使うか、RCTが使いにくい場面、なんちゃってABテストの罠まで整理します。

RCTはランダムに分けて比べる方法

RCTの形はシンプルです。
対象を2つ以上のグループにランダムに分けます。
片方には施策を入れます。もう片方は入れません。
その結果を比べます。

東京大学の「医療情報をわかりやすく発信するプロジェクト」でも、RCTは対象者を2つ以上のグループに無作為に分けて効果を検証する方法と説明されています。
まずはこの形だけ覚えれば十分です。

普通の比較は、施策以外の差が混ざります。
これがあると、「売上が伸びた理由」がわからなくなります。

たとえば次の比較は危ういです。

このとき差が出ても、広告の勝ち負けとは限りません。
地域差が効いただけかもしれません。

RCTでは、対象をランダムに分けます。
すると年齢、性別、地域、興味関心の偏りを散らしやすくなります。
NIHも、よく設計されたRCTは因果関係を調べるうえで最も強い方法だと説明しています。

比較方法	起きやすいこと	言いやすいこと
普通の比較	属性差や季節要因が混ざる	相関は見える
RCT	施策以外の差を散らしやすい	因果をかなり強く言いやすい

マーケでRCTが一番わかりやすいのは、ABテストです。
同じ時期に、近い条件で、ユーザーをランダムに振り分けて比べる。
この形にできれば、ABテストはRCTにかなり近づきます。

ただし、ABテストなら何でもRCTになるわけではありません。
配信面や流入元がズレていたら、ただの比較です。
大事なのは「ランダムに割り付けたか」です。

NTTデータ経営研究所も、RCTは医療だけでなく、研究開発やマーケティングでも使えると案内しています。
つまりRCTは、医療の専門用語で終わる話ではありません。

RCTは強いです。
ただし万能ではありません。

つまりRCTは、勝ち筋を見つける道具として強いです。
一方で、背景の解釈までは別の分析も必要です。

RCTは強いです。
ただし、現実のマーケでは毎回きれいに組めるわけではありません。

たとえば、大型セール中に価格も訴求もクリエイティブも同時に変える。
この状態では、どれが効いたのかを切り分けにくいです。

こういう場面では、観察データや時系列比較も使います。
ただし、その場合はRCTほど強く因果を言いにくくなります。

RCTっぽく見えても、設計が雑だと意味が薄くなります。
特に多いミスはこの3つです。

配信面、時間帯、流入元がずれると、施策差ではなく環境差を見てしまいます。
新バナーが勝ったのではなく、たまたま勝ちやすい面に出ただけかもしれません。

最初はCVRを見るつもりだったのに、途中からCTRだけ見る。
これをやると、勝ち負けの基準そのものが変わります。

数が少ないと、たまたまの揺れを勝ち筋だと思いやすくなります。
早すぎる勝ち判定は危険です。

マーケで一番多いのは、ABテストをしているつもりで、実際はただ比較しているだけの状態です。

たとえばこうです。

これでは、AとBを比べているようで、実際は時期、媒体、ユーザー層まで一緒に変わっています。
つまり「何が効いたか」がわかりません。