高速な仮説検証のためのABテストの設計の流れ｜後篇
以前は0から実施したいABテストを決めるための流れを紹介しましたが、本日は、実施したいABテストが個別に決まったあとに、どのように設計をすべきかについて紹介させてください。
アイディア段階に言語化すべき項目
ABテストの要件定義をよりよくできるよう、以下の項目を明確に言語化したほうが良いです。
できれば、各項目に裏付けとなるデータも合わせて記入したほうがより信憑性が上がります。
- 【WHAT】検証ポイント：だれがどのように変わるかどうか
例：サービスのTopページの検索パネルの近くに、検索履歴をちら出ししたほうが、ユーザーが前回の検索条件を便利に再入力することができ、最終的にセッション内の予約に寄与できる - 【WHY】ユーザーのニーズ：どのようなユーザーが、なにを求めているのか
例：ユーザーは検索パネルを利用する時に、前回の検索条件で再検索するニーズがある（同一セッションでTopで複数回同じ検索条件をかけるのは〇〇%；非同一セッションで、直前のセッションと同じ検索条件で再検索したのは〇〇%） - 【WHY】現状：今のウェブサイトではどのようになっているのか
例：今は検索履歴の情報は保持しているものの、サイトのフロントに表出していない - 【WHY】課題：ユーザーにとって不便・ペインを感じるのはなにか
例：ユーザーは再検索するときに、いちいち条件を入れないといけない - 【HOW】打ち手：なにをどのように変えるか
例：検索パネルの下に、一番最近検索をかけた条件を表出させる
ABテストの実施にあたって決めるべき項目
実施概要
実施概要は通常、以下の項目が含まれます：
- 実施端末
- 実施画面
- 評価指標（どの指標が有意に勝てばAB仕様を本番反映するか）
- モニタリング指標（必須項目ではない。利用する時はネガティブな現象を防ぐために設ける指標。例：予約単価）
- テストスロットの比率（100%/スロット数でOK。例：X/Aでテストする時は50%：50%でOK）
- 基準訪問数
- 最小検出可能効果
- 適正サンプルサイズ（評価指標の値と最小検出可能効果によって決める）
- 実施期間（=適正サンプルサイズ * テストスロット数 /基準訪問数）
適正サンプルサイズを決めるにあたって、A/B Test Sample Size Calculatorを使って試算すると良いです。
Baseline Conversion Rateに評価指標の実際の値を入れます。
例：予約CVR
Minimum Detectable Effectに最小検出可能効果の値を入れます。最小検出可能効果の値は通常決めです。
おすすめの決め方は、過去同じ面で実施した＆有意に勝ったABの改善幅の中央値。
※改善幅 = ( Aの評価指標の実際の値 / Xの評価指標の実際の値 ) - 100%
例：過去勝利したABは計三回、一回目の改善幅は103%、二回目は107%、三回目は102%であれば、103%を使うとよいです。
Statistical Significanceに90%か95%ぐらいを入れると大丈夫です。
ABのワイヤーフレームと仕様説明
おすすめの専門ツールはsketchやAdobeなどがありますが、
エンジニアやデザイナーに意思さえ伝わればOKなので、別にパワーポイントでも大丈夫です。
仕様説明を書く時に、以下のケースに分けて書くとよりよいです。
- 初期表示：Xに比べ、初期状態の見た目の差分はなにか
- イベントの表示条件：どの状態を満たす時に、イベントが発火するのか
- イベントの要件：特定のObjectが具体的にどのような条件でどのように動くか
- 特殊ケースの処理：ある特殊のケースの時にどうすべきか
特殊ケースの処理は、最初から全部モーラーするのが難しいので、実際エンジニアたちと会話する時に、補足していくのが良いでしょう。
