Cara menyiapkan eksperimen di Google Play Console
Rute dan label di Google Play Console dapat berubah. Cari area eksperimen halaman aplikasi atau pengoptimalan toko pada aplikasi terkait, lalu periksa antarmuka yang sedang Anda gunakan sebelum menerbitkan panduan atau memulai pengujian.
Alur umumnya adalah menyiapkan kontrol dan varian, memilih elemen yang tersedia, menentukan audiens, memeriksa materi, lalu menyimpan konfigurasi. Simpan salinan eksternal dari semuanya. Konsol menampilkan status dan hasil, tetapi tidak menggantikan riwayat keputusan tim.
Hal yang perlu diperiksa sebelum membuat pengujian
Pastikan kontrol adalah halaman aplikasi yang ingin dijadikan referensi dan varian tidak mengandung perubahan yang tidak disengaja. Periksa aset, teks, terjemahan, negara, dan arah pesan. Terjemahan yang berbeda dapat mengubah pengujian visual menjadi perbandingan proposisi yang berbeda.
Catat juga perubahan yang berlangsung bersamaan: versi aplikasi baru, kampanye akuisisi, perubahan harga, masalah ketersediaan, atau perubahan pada bagian lain halaman aplikasi. Anda tidak harus otomatis membatalkan pengujian, tetapi perlu mengetahui kondisi tersebut sebelum menafsirkan hasil.
Tempat membuat dan memeriksa eksperimen
Cari bagian yang disediakan Google Play Console untuk eksperimen halaman aplikasi atau pengoptimalan toko. Jangan menetapkan rute yang sangat spesifik dalam dokumentasi internal tanpa memeriksanya terlebih dahulu. Navigasi dan namanya dapat berbeda menurut versi konsol dan jenis aplikasi.
Dari area yang sama, Anda seharusnya dapat memeriksa status dan hasil eksperimen yang tersedia untuk akun Anda. Simpan juga tanggal mulai, elemen yang diuji, audiens, varian, dan jeda dalam catatan internal. Dengan begitu, Anda dapat merekonstruksi perbandingan meskipun halaman aplikasi berubah setelahnya.
Hal yang perlu dicatat saat pengujian aktif
Catat waktu mulai dan selesai, versi aplikasi, kampanye aktif, insiden, perubahan ketersediaan, serta pengeditan apa pun di luar eksperimen. Tambahkan pihak yang mengambil setiap keputusan dan apa yang diamati, tanpa mengubah setiap variasi harian menjadi kesimpulan.
Tentukan jadwal peninjauan sebelum memulai. Jika muncul masalah teknis atau kampanye yang tidak biasa, catat dan nilai apakah perbandingan masih dapat ditafsirkan. Catatan tidak memperbaiki data, tetapi mencegah Anda mengira kebetulan sebagai penyebab beberapa bulan kemudian.
Cara membaca hasil tanpa memberikan makna berlebihan
Setelah pengujian selesai, kembali ke hipotesis awal dan bandingkan kontrol dengan varian menggunakan metrik utama yang telah dipilih. Tanyakan terlebih dahulu apakah hasil menjawab pertanyaan yang dirumuskan, kemudian apakah konteksnya cukup untuk mengambil tindakan.
Perbedaan yang terlihat tidak dengan sendirinya membuktikan hubungan sebab-akibat. Hasil tersebut berlaku untuk halaman aplikasi, audiens, periode, dan kondisi tertentu. Hasilnya tidak menjamin perilaku yang sama di negara lain, sumber trafik berbeda, atau waktu yang berbeda dalam setahun.
Faktor yang dapat mencemari perbandingan
Komposisi akuisisi dapat berubah akibat kampanye, trafik organik, rekomendasi, atau variasi antarnegara. Musiman, pembaruan aplikasi, kegagalan login, perubahan harga, dan ketersediaan yang terbatas juga dapat memengaruhi hasil.
Jika faktor-faktor tersebut bertepatan dengan pengujian, simpan datanya, tetapi klasifikasikan kesimpulan sebagai bersyarat. Kondisi ini dapat menjadi alasan untuk mengulangi pengujian atau melakukan peninjauan, bukan alasan untuk menyatakan secara tegas bahwa aset menyebabkan perubahan yang diamati.
Kapan mempertahankan, meninjau, atau mengembalikan varian
Pertahankan varian jika varian menjawab hipotesis, sinyalnya konsisten, dan tidak ada penjelasan eksternal yang lebih meyakinkan. Tinjau jika hasilnya ambigu, metrik utama tidak berubah, atau konteks membuat atribusi tidak dapat dilakukan dengan yakin.
Kembalikan perubahan jika varian bertentangan dengan hipotesis atau menjanjikan sesuatu yang tidak dipenuhi aplikasi. Dalam semua kasus, tuliskan alasan dan batas kesimpulan. Keputusan yang terdokumentasi lebih berguna daripada label «pemenang» tanpa konteks.
Kesalahan umum dan templat keputusan akhir
Pengujian tidak hanya digunakan untuk memilih varian. Pengujian juga dapat menunjukkan bahwa masalah dirumuskan dengan keliru, pesan tidak jelas bagi audiens tersebut, atau informasi yang tersedia belum cukup untuk menafsirkan sinyal.
Penutupan harus memisahkan tiga hal: apa yang terjadi, penjelasan yang menurut Anda masuk akal, dan tindakan berikutnya. Pemisahan ini mencegah preferensi visual berubah menjadi kesimpulan ASO yang sebenarnya tidak pernah dibuktikan oleh eksperimen.
Kesalahan yang membuat hasil tidak berguna
Kesalahan yang paling sering terjadi adalah menulis hipotesis yang samar, mengubah beberapa elemen tanpa menyatakannya, memeriksa data secara impulsif, serta mencampur negara atau audiens tanpa mencatatnya. Membandingkan varian dengan janji yang berbeda juga dapat membingungkan.
Kesalahan lain adalah mengabaikan perubahan yang berjalan bersamaan. Varian mungkin bertepatan dengan kampanye atau versi aplikasi yang lebih stabil. Jika dampaknya tidak dapat dipisahkan, batasi pembelajaran pada perbandingan yang diamati dan hindari generalisasi.
Templat penutupan: apa yang dipelajari dan tindakan berikutnya
Lengkapi bidang berikut setelah pengujian selesai:
- Hipotesis dan variabel yang diuji.
- Hasil yang diamati pada metrik utama.
- Audiens, periode, dan konteks.
- Faktor eksternal dan batasan.
- Keputusan: mempertahankan, meninjau, atau mengembalikan.
- Pengujian berikutnya dan penanggung jawabnya.
Hasil pengujian yang positif tidak menjamin lebih banyak unduhan di semua kanal dan tidak menggantikan pemeriksaan kualitas halaman aplikasi. Fungsinya lebih spesifik: membantu Anda memahami sebuah perbandingan dan menentukan perubahan berikutnya dengan lebih sedikit intuisi dan lebih banyak keterlacakan.
Tujuannya bukan melakukan pengujian tanpa alasan. Tujuannya adalah mengubah pengamatan menjadi hipotesis, mengisolasi—atau menyatakan—perubahan yang ingin dipahami, lalu mengambil keputusan yang dapat dijelaskan bahkan ketika hasilnya tidak konklusif.
