ABテストの有意差を計算（p値・必要サンプル数つき）
パターンAとBの訪問数とコンバージョン数を入力すると、ABテストの有意差があるかどうかを判定します。統計的に有意かどうか、改善率と信頼区間に加えて、信頼できるテストに必要なパターンごとの訪問数も計算します。
計算例：パターンA：訪問数 10,000 · パターンA：コンバージョン数 200 · パターンB：訪問数 10,000 · パターンB：コンバージョン数 250 · 信頼水準: 95%（標準） → 判定：信頼水準95%で有意です：BはAよりコンバージョンが高い結果です（p = 0.0171）。。出典：NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test)。更新日：
計算方法
有意差の計算方法
このツールは2標本の比率のz検定（NIST/SEMATECH e-Handbook）を使います。コンバージョン率 pA = コンバージョン数 ÷ 訪問数、合算した比率 p = (cA + cB) ÷ (nA + nB)、z = (pB − pA) ÷ √(p(1 − p)(1/nA + 1/nB)) です。両側のp値は、本当の効果がないと仮定したときに、これ以上大きな差が出る確率を表します。
計算例
| 訪問数 | コンバージョン数 | 率 | |
|---|---|---|---|
| A | 10,000 | 200 | 2.00% |
| B | 10,000 | 250 | 2.50% |
改善率は25%、z = 2.38、p = 0.0171 で、信頼水準95%で有意です。本当の差は、95%の信頼度で +0.09〜+0.91 ポイントの範囲にあります。
ABテストに必要なサンプル数
パターンごとのn = (z1−α/2·√(2p̄(1 − p̄)) + z1−β·√(pA(1 − pA) + pB(1 − pB)))² ÷ (pB − pA)² です。2.0%と2.5%の差を信頼水準95%・検出力80%で見つけるには、パターンごとに約13,800訪問が必要です。2.0%と2.2%なら約80,700訪問になります。
よくある間違い
- 途中経過を見て止めてしまうこと：有意になった時点で終了すると、偽陽性が増えます。
- サンプル不足のテスト：小さな差を見つけるには非常に多くのサンプルが必要です。
- 有意水準を調整せずに、多くのパターンや指標を同時にテストすること。
よくある質問
ABテストの有意差はどうやって判断しますか。
p値が設定した基準（通常は0.05、つまり信頼水準95%）を下回れば有意と判断します。その場合、この大きさの差が偶然で生じる可能性は低いと考えられます。
ABテストの有意差はどのように計算しますか。
2標本の比率のz検定を使います。コンバージョン率の差を合算した標準誤差で割ってzを求め、それをp値に変換します。このツールが両方を自動で計算します。
ABテストはどのくらいの期間続けるべきですか。
事前に計算したサンプル数に各パターンが達するまで続けます。曜日による変動をならすため、少なくとも丸1週間は実施してください。
ABテストにはどれくらいのサンプル数が必要ですか。
現在のコンバージョン率と、検出したい改善幅によって決まります。2.0%から2.5%への改善を信頼水準95%・検出力80%で見つける場合、パターンごとに約13,800訪問が目安です。
統計的検出力とは何ですか。
実際に存在する効果を見つけられる確率のことです。80%が一般的な目標で、ここでもサンプル数の計算に使っています。
出典・根拠
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test)
- D. Zhang, ST 520 Statistical Principles of Clinical Trials, Ch. 6: Sample Size Calculations (two proportions)
更新日： · 編集方針
関連ツール
- コンバージョン率（CVR）計算アクセス数とコンバージョン数からCVR（コンバージョン率）を計算。平均注文単価、1訪問あたりの売上、目標達成に必要なアクセス数もわかります。
- p値の計算ツールz値・t値・カイ二乗値からp値を計算。平均・標準偏差・サンプル数からt検定（1標本・ウェルチ）も直接でき、棄却限界値と信頼区間も表示します。
- ROAS計算ツールROASの計算式に広告費と売上を入れるだけで、ROAS（倍率と%）、ACOS、CPA、粗利率から損益分岐点ROASまで自動で計算できる無料ツールです。
- LTV（顧客生涯価値）計算顧客生涯価値（LTV）を平均購入単価・購入頻度・継続年数または解約率・粗利率から計算します。CAC、LTV/CAC比率、回収期間も同時に表示します。
- CPM計算ツール：CPM・CPC・CTRの計算CPM計算ツール。広告費・表示回数・クリック数からCPM、CPC、CTRを計算します。CPMとCTRから予算・表示回数・クリック数の逆算もできます。
- 利益率計算（粗利率・原価率・売価）原価と売価から粗利・粗利率・原価基準の利益率（マークアップ率）を計算。目標の利益率から売価や仕入れ上限も逆算できる無料ツールです。
- 賃率の計算賃率の計算ツール。賃金、法定福利費などの上乗せ、間接費、利益から、1時間あたりの税抜きの請求単価（賃率）を求めます。無料で登録不要です。
- 平均取得単価の計算平均取得単価の計算ツールです。最大5回分の購入を株数と単価で入力すると、加重平均の取得単価と投資総額を求めます。計算手順と例も確認できます。
- ベーシスポイント計算ベーシスポイント計算ツールです。bpと％の相互換算、金利の変化幅のbp表示、金額に対するbp変化の金額換算ができます。計算手順も表示します。