برای رسیدن به نتیجه معتبر به چه تعداد کاربر نیاز دارید.
نرخ تبدیل فعلی شما بدون هیچ تغییری.
میخواهید حداقل چقدر بهبود را شناسایی کنید؟
نتایج محاسبات
فقط کافی است نرخ تبدیل فعلی، اندازه تغییری که برای شما اهمیت دارد، و تنظیمات تست را وارد کنید. ماشین حساب به شما می گوید برای رسیدن به نتایج قابل اتکا، چه حجم نمونه ای لازم دارید.
اهمیت حجم نمونه (Sample Size) در تست های آماری
حجم نمونه تعیین می کند که نتایج تست شما تا چه حد قابل اعتماد هستند. اگر حجم نمونه خیلی کم باشد، نوسانات تصادفی ممکن است شبیه یک تغییر واقعی دیده شوند. اگر حجم نمونه بیش از حد زیاد باشد، زمان و منابع شما هدر می رود. انتخاب حجم نمونه مناسب باعث می شود تست شما قدرت کافی (Statistical Power) برای تشخیص تغییرات واقعی داشته باشد و در عین حال احتمال نتیجه گیری اشتباه را کاهش دهد.
نحوه استفاده از ماشین حساب حجم نمونه (Sample Size Calculator)
این ابزار به شما کمک می کند تخمین بزنید برای اجرای یک تست معتبر، چه تعداد نمونه نیاز دارید.
نرخ تبدیل اولیه (Baseline Conversion Rate)
در این قسمت باید نرخ تبدیل فعلی خود را وارد کنید؛ یعنی درصد افرادی که اقدام مورد نظر را انجام می دهند. مثلا اگر از هر 100 نفر، 5 نفر تبدیل می شوند، عدد 5 را وارد کنید.
حداقل تاثیر قابل تشخیص (Minimum Detectable Effect – MDE)
حداقل تاثیری است که می خواهید بتوانید در تست شناسایی کنید. مثلا اگر افزایش 20 درصدی اهمیت دارد، عدد 20 را وارد کنید. هرچه بخواهید تغییر کوچکتری را تشخیص دهید، به نمونه بیشتری نیاز است.
MDE یکی از مهم ترین ورودی های تست است، چون مستقیما روی حجم نمونه تاثیر می گذارد.
تعداد نسخه های تست (Number of Variants)
در این بخش مشخص می کنید چند نسخه را بررسی می کنید، شامل نسخه کنترل (Control). تست دو نسخه ای یک تست ساده A/B Test است. تست چند نسخه ای مانند A/B/C نیاز به داده بیشتری دارد تا اطمینان آماری حفظ شود.
این ماشین حساب تاثیر مقایسه های چندگانه (Multiple Comparisons) را تنظیم نمی کند، بنابراین افزایش تعداد نسخه ها احتمال نتیجه مثبت اشتباه (False Positive) را بالاتر می برد.
تنظیمات پیشرفته (Advanced Settings)
فرضیه تست (Hypothesis Type)
- حالت یک طرفه (One-Sided): وقتی فقط به یک جهت بهبود اهمیت می دهید.
- حالت دو طرفه (Two-Sided): وقتی می خواهید بدانید نسخه جدید بهتر یا بدتر از کنترل است.
در حال حاضر، Mixpanel از فرضیه دو طرفه پشتیبانی می کند و حالت یک طرفه به زودی اضافه می شود.
سطح اطمینان (Confidence Level)
سطح اطمینان نشان می دهد تست با چه احتمالی از نتیجه مثبت اشتباه جلوگیری می کند. مقدار استاندارد 95 درصد است. هر چه سطح اطمینان بالاتر باشد، حجم نمونه بزرگتری لازم است.
Confidence Level، احتمال جلوگیری از تایید اشتباه تغییرات را اندازه گیری می کند.
توان تست (Statistical Power)
توان تست نشان می دهد که اگر تغییر واقعی وجود داشته باشد، تست با چه احتمالی آن را شناسایی می کند. مقدار معمول 80 درصد است. توان بالاتر نتایج قابل اعتمادتر می دهد، اما حجم نمونه بیشتری نیاز دارد.
نکات پایانی
این محاسبات فرض می کنند که ترافیک به صورت مساوی بین نسخه ها تقسیم می شود (Equal Allocation). توزیع نامتوازن باعث کاهش توان تست می شود. همچنین متوقف کردن تست پیش از رسیدن به حجم نمونه توصیه شده می تواند نتایج را غیرقابل اعتماد کند.
