A/Bテストのレポート
A/Bテスト結果は、日次（毎日深夜）で集計され、レポート画面に反映されます。 ここではレポートの見方と、結果の判断基準について解説します。
1. 指標の定義
レポートに表示される各数値の意味は以下の通りです。
指標名 | 定義 |
|---|---|
インプレッション数 | テストパターン（AまたはB）が表示された回数 |
セッション数 | ユーザーが訪問した回数 |
ユーザー数 | ユニークユーザー（人数） |
コンバージョン数 | 設定したゴール（クリックやページ到達）を達成した回数 |
コンバージョン率 (CVR) | セッションあたりのコンバージョン発生率 計算式: |
2. 勝ちパターンの判定（統計的有意差）
ModeLinkでは、パターンAとBの差が「偶然なのか、要素変更による効果なのか」を統計学（カイ二乗検定）を用いて判定しています。
- 統計的信頼度:
- 95%以上: 統計的に「有意差がある（確実に差がある）」と判断。
- 90%以上: 差がある可能性が高い状態。
- WINNERバッジ:
- 信頼度が95%を超え、かつCVRが高い方のパターンに [WINNER] バッジが表示されます。
3. グラフの活用
レポート下部のグラフでは、日ごとの推移を確認できます。
- 期間: 直近7日、30日、全期間で切り替え可能です。
- デバイス: PC、スマホ、タブレットごとの数値を絞り込んで確認できます。
- 比較: 「インプレッション数とCVR」など、2つの指標を重ねて表示し、相関を確認できます。
4. テスト終了後のアクション
「勝ちパターン（Winner）」が確定したら、以下の手順でサイト改善を進めましょう。
- テストの終了: どちらが勝ったか分かったら、テストを終了します。
- 勝ちパターンの適用:
- レポート画面に表示される [ユーザーパーソナライズに切り替え] ボタンをクリックすると、勝ったパターンの内容を引き継いだ「パーソナライズプロジェクト」をワンクリックで作成できます。
- これにより、A/Bテスト（検証）を終了し、全ユーザーに対して勝ちパターン（改善案）を即座に適用することができます。