A/Bテストとは、Webページやメールなどの2つの案を、利用者を無作為に分けて同時に見せ、どちらがよい結果を出すかを比べる方法のことです。「ボタンの文言を変えたら申し込みが増えるか」「件名をどちらにしたほうがメールが開かれるか」といった問いに、実際の利用者の反応で答えを出します。社内の意見が分かれたときに、声の大きさではなく数字で決められるのが、A/Bテストのよいところです。
A/Bテストは、どんな場面で使われるのか?
Webサイトやアプリ、メール、広告など、多くの人に同じものを見せ、その反応を数字で取れる場面で使われます。
- Webページの見出しや画像、申し込みボタンの文言
- 入力フォームの項目の数や並び
- メールの件名や、送る時間帯
- 広告の文面や画像
- アプリの画面の並びや、案内の出し方
A/Bテストは、どう進めるのか?
仮説を立て、比べる指標を決め、変える点を1つにしぼって、必要な数が集まるまで続けてから判断します。
仮説を立てる
「申し込みボタンを画面の上のほうに出せば、申し込みが増える」のように、何を変えると、何がどう変わるかを言葉にします。
指標を決める
申し込みの数、クリックの割合など、どの数字で良し悪しを決めるかを、始める前に決めておきます。
変える点を1つにしぼる
一度に複数の点を変えると、どの変更が効いたのかが分からなくなります。
必要な数と期間を決める
結果が偶然ではないと言えるだけの人数と、曜日の偏りが出ない期間を見込みます。
結果を判断し、記録する
差が偶然の範囲を超えているかを確かめ、よかった案を採用します。採用しなかった案の結果も、次の仮説の材料として残します。
A/Bテストと多変量テスト・前後比較は、どう違うのか?
A/Bテストは2つの案を同時に比べる方法、多変量テストは複数の要素の組み合わせを一度に比べる方法、前後比較は変更の前と後の期間を比べる方法です。同時に比べるA/Bテストのほうが、季節や曜日などの影響を受けにくくなります。
| 比べる点 | A/Bテスト | 多変量テスト | 前後比較 |
|---|---|---|---|
| 比べ方 | 2つの案を同時に見せて比べる | 複数の要素の組み合わせを、同時に比べる | 変える前の期間と、変えたあとの期間を比べる |
| 必要な利用者の数 | 比較的少なくて済む | 組み合わせが増えるほど、多く必要 | 少なくても始められる |
| 弱いところ | 一度に1つの点しか確かめられない | 利用者が少ないと結果が出ない | 季節や広告など、ほかの影響と区別しにくい |
A/Bテストで、結果を読み違えないための注意点は?
途中で結果を見て止めないこと、差が偶然かどうかを確かめること、目先の指標だけで判断しないことの3つです。
- 途中で止めない
- 始めてすぐは、偶然で大きな差が出ることがよくあります。決めた数と期間が集まるまで続けます。
- 差が偶然かどうかを確かめる
- 統計の検定などで、差が偶然の範囲を超えているかを確かめます。A/Bテストのツールには、この判定の機能を備えたものもあります。
- 目先の指標だけで決めない
- クリックは増えたのに、申し込みや契約は減った、ということもあります。最終的な成果につながる指標もあわせて見ます。
トラックファームでは、A/Bテストをどう扱っているか?
A/Bテストの考え方は、Webサイトやメールの改善だけでなく、生成AIに渡す指示(プロンプト)や回答の形を比べるときにも使えます。どちらの案がよいかを、担当者の好みではなく、事前に決めた指標で判断できるように、比べ方の設計から一緒に考えます。
よくある質問
アクセスの少ないサイトでも、A/Bテストはできますか?
できますが、結果が出るまでに時間がかかります。利用者が少ない場合は、ボタンの文言のような細かな違いより、ページの構成を大きく変えた2案を比べるほうが、差が見えやすくなります。
A/Bテストには、専用のツールが必要ですか?
Webページで行う場合は、利用者の振り分けと集計を自動で行うツールを使うのが一般的です。メールの件名を比べる場合は、メール配信のツールやMAに、その機能が備わっていることもあります。
