データを分析する力を高める＝ABテスト【第6回】

1つひとつを丁寧に検証・判断を繰り返す

　さて、ABテストを開始して2週間が過ぎました。テストグループ、つまりボタンの位置を目立つ右上に変更したグループの売上高の増加が、統計的にも有意であることが見いだせました。この結果により、ケビンズでは、ボタンの位置を正式のWebサイトでも変更することを決定できました。

　1つの結果が出たら、次は別のABテストに移ります。今度はメルマガです。メルマガに掲載している割引コードについて、「割引コードの文字が小さくて見逃されているのではないか」という指摘があったためです。

　今回は、割引コードのフォントサイズを大きめに変更することにしました。割引コードは、できるだけ多くのユーザーの目にとまり、利用してもらったほうが売り上げの増加に貢献すると考えたからです。

　先のABテスト同様に、変更点はフォントサイズの1つだけ、グループ分けは無作為かつ独立していることが重要です。メルマガであれば、同じユーザーがAとBの両方のメルマガを受信してはいけません。必ず片方のメルマガのみを受信するようにします（図3）。でないとABテストの結果の信頼性が下がってしまいます。

図3：第2のABテストの実施条件

　これらの条件において、メルマガの開封率と成約率（コンバージョン率）を比較します。結果を見ると、割引コードのフォントを大きくしてもメールの開封率は変わりませんでした。しかしコンバージョン率は顕著な上昇が見られました。「フォントサイズの変更はコンバージョン率に貢献する」という仮説が正しかったことが証明できました。

　2つ目の結果が得られたので今度は、開封率を上昇させるための施策を考えます。たとえばメルマガのタイトル文字数を短くする、開きたくなるようなコピーに変えるなどです。他にもユーザーがメールを開こうとする要素を考え、1つずつテストしていきます。

仮説の立て方が重要、入念な選定を

　このようにABテストでは、変更点を1つに絞り、結果が出たら次の仮説検証へと移るという流れを繰り返します。慎重に分析結果を見ながら、問い続けることが鍵になります。

　ABテストでは、1つひとつの仮説を検証していくため、効率的に結果を出すためには仮説の立て方が重要になります。仮説は入念に選定してください。

　最後にABテストの大まかな手順を、もう一度、まとめておきます。

ステップ1 ：変更点（バリエーション）を決定。影響力がある要素を注意深く選ぶ

ステップ2 ：グループ分け。無作為性と独立性を確保する、グループのサイズ（人数）を決める

ステップ3 ：テストの実施期間を決定。十分にデータが得られ、かつリソースと時間を浪費しない期間に決定する

ステップ4 ：テストの実行と監視。早く終えると早計な結果を導くので十分なデータを揃えること

ステップ5 ：テスト終了後の結果分析。統計的に有意な結果が見られるかどうかを分析する

　繰り返しになりますが、ABテストで気をつけることは、評価を急がないことと、複数の変更を一度にやらないことです。なかでも大事なのが仮説です。「この変更によって売上が増加するのではないか？」などと必ず仮説を立て、結果に大きく影響を与える要素は何かを、よく見極めながら進めていきましょう。

　なお本連載は、データ活用のためのオンライン学習プラットフォーム「データリテラシープロジェクト」が提供する動画コンテンツを参考に構成しています。動画も併せてご活用ください。