Kalkulator A/B test
Masukkan jumlah pengunjung dan konversi untuk varian A dan B. Kalkulator A/B test ini memberi tahu apakah selisihnya signifikan secara statistik, menampilkan uplift dan interval kepercayaannya, serta menghitung berapa pengunjung per varian yang dibutuhkan agar hasil uji bisa dipercaya.
Sumber: NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test). Diperbarui: .
Cara menghitung
A/B test (uji A/B) adalah cara membandingkan dua versi – misalnya dua judul iklan, dua foto produk, atau dua halaman checkout – dengan membagi pengunjung secara acak ke versi A dan B, lalu melihat versi mana yang konversinya lebih tinggi. Kalkulator ini menjawab pertanyaan berikutnya: apakah selisihnya nyata, atau hanya kebetulan?
Cara menghitung signifikansi
Kalkulator memakai uji z dua proporsi (NIST/SEMATECH e-Handbook): rate pA = konversi ÷ pengunjung, proporsi gabungan p = (cA + cB) ÷ (nA + nB), dan z = (pB − pA) ÷ √(p(1 − p)(1/nA + 1/nB)). p-value dua sisi adalah peluang melihat selisih sebesar itu atau lebih besar jika sebenarnya tidak ada efek apa pun.
Contoh
| Pengunjung | Konversi | Rate | |
|---|---|---|---|
| A | 10.000 | 200 | 2,00% |
| B | 10.000 | 250 | 2,50% |
Uplift 25%, z = 2,38, p = 0,0171: signifikan pada tingkat kepercayaan 95%. Dengan kepercayaan 95%, selisih sebenarnya ada di antara +0,09 dan +0,91 poin persentase.
Ukuran sampel A/B test
n per varian = (z1−α/2·√(2p̄(1 − p̄)) + z1−β·√(pA(1 − pA) + pB(1 − pB)))² ÷ (pB − pA)². Untuk membedakan 2,0% dan 2,5% pada kepercayaan 95% dan power 80%, dibutuhkan sekitar 13.800 pengunjung per varian; untuk 2,0% dan 2,2% sekitar 80.700. Toko online kecil dengan 300 pengunjung sehari butuh sekitar tiga bulan (27.600 pengunjung) hanya untuk contoh pertama – karena itu uji kecil sebaiknya menguji perubahan besar, bukan warna tombol.
Uji A/B di iklan dan marketplace
Fitur “uji A/B” di Meta Ads (Facebook dan Instagram) membagi audiens dan menampilkan pemenang secara otomatis. Kalkulator ini berguna untuk memeriksa ulang hasilnya, atau untuk uji yang Anda jalankan sendiri: dua versi landing page, dua foto utama produk di toko online, atau dua isi broadcast WhatsApp dengan tautan berbeda. Yang penting, kedua varian berjalan pada periode yang sama dan pengunjungnya dibagi secara acak.
Kesalahan yang sering terjadi
- Mengintip hasil: menghentikan uji begitu terlihat signifikan memperbesar peluang “pemenang palsu”.
- Sampel terlalu kecil: uplift kecil butuh sampel yang sangat besar.
- Menguji banyak varian atau metrik sekaligus tanpa menyesuaikan tingkat signifikansi.
- Menjalankan A dan B di minggu yang berbeda, misalnya satu bertepatan dengan gajian atau promo tanggal kembar.
Untuk menghitung satu rasio saja, pakai kalkulator conversion rate; untuk uji statistik lain ada menghitung p-value.
Pertanyaan umum
A/B testing adalah apa?
Uji yang membandingkan dua versi (A dan B) dengan membagi pengunjung secara acak, lalu mengukur versi mana yang menghasilkan lebih banyak konversi – pembelian, pendaftaran, atau klik.
Bagaimana tahu hasil A/B test signifikan?
Jika p-value di bawah ambang yang Anda pilih, biasanya 0,05 (kepercayaan 95%). Artinya selisih sebesar itu kecil kemungkinannya terjadi karena kebetulan.
Berapa lama A/B test sebaiknya berjalan?
Sampai setiap varian mencapai ukuran sampel yang dihitung di awal, dan minimal satu minggu penuh agar perbedaan hari kerja dan akhir pekan ikut terhitung.
Berapa ukuran sampel yang dibutuhkan untuk A/B test?
Tergantung conversion rate awal dan uplift yang ingin dideteksi. Untuk 2,0% → 2,5% pada kepercayaan 95% dan power 80%, sekitar 13.800 pengunjung per varian.
Apa itu power statistik?
Peluang mendeteksi efek yang memang ada. Target yang lazim adalah 80%, dan angka itu yang dipakai di sini untuk menghitung ukuran sampel.
Sumber dan dasar hukum
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test)
- D. Zhang, ST 520 Statistical Principles of Clinical Trials, Ch. 6: Sample Size Calculations (two proportions)
Diperbarui: · Kebijakan editorial
Alat terkait
- Kalkulator conversion rateCara menghitung conversion rate dari jumlah pengunjung dan konversi, plus rata-rata nilai pesanan, pendapatan per pengunjung dan traffic yang dibutuhkan.
- Menghitung p valueMenghitung p value dari nilai z, t, atau chi-square, atau langsung lewat uji t dari rata-rata, simpangan baku, dan n – lengkap dengan nilai kritis dan interval.
- Kalkulator ROASCara menghitung ROAS iklan Shopee, TikTok, atau Meta Ads: masukkan biaya iklan dan omzet untuk melihat ROAS, ACOS, CPA, serta ROAS impas (BEP) dari margin.
- Kalkulator customer lifetime value (CLV)Hitung customer lifetime value (CLV/LTV) dari nilai pesanan, frekuensi pembelian, masa pelanggan atau churn rate dan margin – lengkap dengan CAC dan LTV:CAC.
- Kalkulator CPM, CPC dan CTRCara menghitung CPM, CPC dan CTR iklan dari biaya, tayangan dan klik – atau hitung mundur anggaran, jumlah tayangan dan klik dari CPM dan CTR.
- Kalkulator margin keuntunganCara menghitung margin keuntungan dari HPP dan harga jual: margin %, markup %, laba kotor dan faktor harga – atau harga jual dari target margin.
- Menghitung biaya tenaga kerja per jamMenghitung biaya tenaga kerja per jam untuk bengkel dan jasa: tarif bersih per jam dari upah, tambahan, overhead, dan margin laba. Gratis.
- Kalkulator harga rata-rata sahamKalkulator harga rata-rata saham: masukkan hingga lima pembelian dengan jumlah dan harga, lihat harga rata-rata tertimbang per saham dan total dana.
- Kalkulator basis poinKalkulator basis poin: ubah basis poin (bps) ke persen dan sebaliknya, hitung perubahan suku bunga dalam bps serta nilai uang dari pergeseran sekian basis poin.