データを分析する力を高める＝ABテスト【第6回】

　本連載ではこれまで、データ分析における用語の定義や基礎知識を解説してきました。今回は、「データを分析する力」として、少し実践的な内容に進みましょう。

変更を加えたほうが良いかどうかを統計的に知る

　分析する力の1つとして今回、取り上げるのは「ABテスト」です。「スプリットテスト」とも呼ばれます。実世界で、どのように適用されているのか、またABテストを実施する際の重要なポイントは何かを見ていきましょう。

　ABテストは、企業のWebサイトや手続きなどに変更を加えるべきかどうかを判断する際に実施されている手法の1つです。ビジネスでは、とてもよく使われています。読者の皆さんも気づかないうちに、何らかのABテストに関わっているかもしれません。

　以下では、架空のオンラインショップ「ケビンズ」を題材に考えていきます。

　ケビンズは過去5年間、Webサイトの閲覧数やメルマガ購読者数は増加しているものの、売上高の伸び率が低下しています。そのためケビンズは売上アップに何が効果的かを模索しています。

　たとえば、Webサイトにあるボタンのレイアウトで購買率がどう変化するか、メールの文面やフォントで開封率や成果がどう変化するかなどです。これをデータ分析で探るときに有効な手法がABテストなのです。

　まずは、Webサイトの「購入に進む」ボタンの位置の改善を検討することにしました。現状のWebサイトでは、ボタンが画面右下にあるため「購入者が気づきにくく、購入に至らないのではないか」という指摘があったからです。そこでABテストを実施し、ボタンの位置を変更した前後における売上高を比較します。

　指摘の通り、「購入に進む」ボタンを目立つ位置に変えれば、オンラインショップの売り上げが増えるかもしれません。これは1つの仮説です。もしボタンの位置を変えても売り上げが変わらなければ、この仮説は正しくなかったことになります。しかし、変更後の売上高に統計的に有意な結果が得られれば、変更を実装する価値があると判断できます。

　このとき、統計用語では「差がない」仮説のことを「帰無仮説」と言い、これを棄却する仮説を「対立仮説」と呼びます。この例では、ボタンの位置を変えた結果、売り上げが変わらないという仮説が帰無仮説になり、売り上げが変わるという仮説が対立仮説になります。

比較する変更点は必ず1つだけ

　ABテストで大事なことは、「変更点は1つだけ」に絞ることです。まずはボタンの位置を右下から右上に変えるだけです。一緒にボタンの大きさを変える、色を変えてはいけません。複数の変更を一度に加えると、どの変更が結果に影響を与えたかが分からなくなるからです。

　変更点を1つに絞ったら、ユーザーを2つのグループに分けます。変更前のWebサイトを体験するグループと、変更後のWebサイトを体験するグループです。ABテストでは、前者を「コントロールグループ」、後者を「テストグループ」と呼ぶこともあります（図1）。

図1：ABテストではユーザーを2つのグループに分ける

　グループ分けは無作為かつ独立していることが重要です（図2）。どのユーザーが、どちらのグループに振り分けられるか、その機会や確率を同じにします。どの顧客も片方のグループのみに属している必要があります。ある顧客が、両方のグループに属すことがあってはなりません。

図2：ABテストでのグループ分けの条件

　続いて、ABテストの実施期間（タイムテーブル）を決定します。ここでは2週間と定めました。曜日の影響を網羅できて、長すぎることもないからです。

　ABテストでは実施期間を適切な長さに定めることも重要です。実施期間が短いと十分なデータを収集できません。曜日や時間帯など、考え得る影響を網羅できる期間にする必要があります。逆に長すぎると、リソースや時間を浪費してしまいます。

　必ずしも「2週間」が最適とは限りません。ABテストを繰り返すことで、どのくらいの期間が最適かを見定められるようにしてください。

　テスト実施中に忘れてはならないことがあります。それは、結果が気になるのはよく分かりますが、途中経過の結果を出そうとしないことです。初期段階の結果を見ると、バイアスや思い込みが生じがちだからです。テストは全行程が終わるまで集計せず、データが揃うまで待ちましょう。