A/Bテストを設定するには
- A/Bテストを
有効にする プロプランで、編集画面の再表示設定の下にあるA/Bテストのカードでテストをオンにします。 - Bパターンを
登録する B用の画像（必須）、代替テキスト、必要に応じて遷移先リンクと開き方を設定します。 - 配信比率を
選ぶ A:Bの比率を50:50、70:30、90:10から選びます。 - 保存して
配信する 表示位置、表示条件、再表示設定はAとBで共通です。同じお客様（同じブラウザ）には常に同じパターンが表示されます。
各指標は何を表しますか
- 表示回数
- ポップアップが実際に表示された回数です。
- クリック
- リンクがクリックされた回数です。クリック後は閉じた状態としても扱われますが、クローズの回数には含まれません。
- クローズ
- 閉じる操作が行われた回数です。
- CTR
- 表示回数に対するクリック数の割合です。
表示回数とCTRは一覧画面で、各指標は編集画面のパフォーマンスで確認できます。数値は計測を始めてからの累計で、日別の内訳は表示されません。計測データの表示はベーシック以上で利用できます。フリープランでも計測自体は続いているため、ベーシック以上に変更すると、それまでの計測データを確認できます。ポップアップを削除すると、その計測データも削除され、元に戻せません。A/Bテスト中は、パフォーマンスにAとBそれぞれのCTRと、どちらのパターンが優勢かが表示されます。
結果を判断するときの注意
- 表示回数が少ない段階で結論を出さない
- 優勢の表示はCTRを単純に比べた結果で、統計的な有意差は判定していない
- CTRだけでなく、移動先での成果も確認する
リセットはテストへ影響しますか
非表示状態をリセットすると、利用者ごとのA/B割り当ても解除されます。同じブラウザが別パターンへ割り当てられる可能性があるため、テスト途中のリセットは避けてください。