A/Bテスト
更新日:
用語解説
A/Bテストは、利用者を原則として無作為に二群以上へ割り付け、現行案Aと変更案Bを同時期・同条件で提示し、事前に定めた指標の差から変更の因果効果を推定する比較実験です。
■ 試験で押さえるポイント
検証仮説、主要指標、ガードレール指標、必要標本数、期間、有意水準を事前に定め、利用者が途中で群を移らないよう割付単位を保ちます。
同時実施により曜日・季節等をそろえ、無作為化で群の交絡要因を平均的にそろえます。前月と今月だけの比較では外部要因を排除しにくくなります。
結果を繰り返しのぞいて都合のよい時点で止める、同時に多数指標を試す、標本が少ないまま勝者を決めると偽陽性が増えます。
■ 選択肢での判断ポイント
無作為割付けした対照群との同時比較が核心です。二案を順番に見せて感想を聞くだけでは因果推定が弱くなります。
例: 10万人を利用者IDでA/Bへ固定割付けし、申込率を比較します。Bが0.1ポイント高くても信頼区間と利益・解約率を確認します。