Optimizly Intelligence Cloud: A/B тесттерин акылдуу жана ылдамыраак кылуу үчүн статистика кыймылдаткычын кантип колдонуу керек

Optimizly Stats Engine жана A/B Testing Strategies

Эгерде сиз бизнесиңизди текшерүүгө жана үйрөнүүгө жардам берүү үчүн эксперимент программасын иштеткиңиз келсе, анда сиз колдонуп жаткандырсыз Optimizly Intelligence Cloud - же жок дегенде карадыңызбы. Optimizly - бул оюндагы эң күчтүү куралдардын бири, бирок, эгерде ал кандай иштээрин түшүнбөсөңүз, аны туура эмес колдонушуңуз мүмкүн. 

Эмне Optimizlyди ушунчалык күчтүү кылат? Өзгөчөлүктөр топтомунун өзөгүндө үчүнчү жактын инструменталдык статистикасынын эң маалыматтуу жана интуитивдүү мотору жатат, бул сизге маанилүү тесттерди түз эфирде өткөрүүгө көбүрөөк көңүл бурууга мүмкүндүк берет-натыйжаңызды туура эмес чечмелеп жатам деп чочулабаңыз. 

Медицинада салттуу сокур изилдөө сыяктуу, A / B тести туш келди башкача көрсөтөт дарылоо ар бир колдонуучунун сайтынын ар бир дарылоонун натыйжалуулугун салыштыруу үчүн. 

Статистика бизге дарылоонун канчалык эффективдүү болору жөнүндө жыйынтык чыгарууга жардам берет. 

Көпчүлүк A/B тестирлөө куралдары статистикалык жыйынтыктын эки түрүнүн бирине таянат: Тез же Байес статистикасы. Ар бир мектептин ар кандай оң жана терс жактары бар - тез -тез статистика эксперимент жүргүзүүдөн мурун үлгү өлчөмүн белгилөөнү талап кылат жана Байес статистикасы негизинен эки мисалды атоо үчүн кандайдыр бир фигураны көрсөтүүнүн ордуна жакшы багытталган чечимдерди кабыл алууну ойлойт. Optimizlyдин супер күчү - бул бүгүнкү рынокто а Эки дүйнөдө мыкты ыкма.

Акыркы жыйынтык? Оптималдаштыруу колдонуучуларга эксперименттерди тезирээк, ишенимдүү жана интуитивдүү жүргүзүүгө мүмкүндүк берет.

Муну толук пайдалануу үчүн, көшөгө артында эмне болуп жатканын түшүнүү маанилүү. Бул жерде оптималдаштыруунун мүмкүнчүлүктөрүн профессионал катары колдонууга жардам бере турган 5 түшүнүк жана стратегия.

Стратегия #1: Бардык көрсөткүчтөр бирдей эмес экенин түшүнүңүз

Көпчүлүк тестирлөө куралдарында, көбүнчө көз жаздымда калган маселе, тесттин бир бөлүгү катары канчалык көп көрсөткүчтөрдү кошсоңуз жана кокустуктан улам туура эмес тыянактарды көрүп калууңуз ыктымал (статистикада бул "бир нече тестирлөө көйгөйү" деп аталат) ”). Анын натыйжаларын ишенимдүү сактоо үчүн, Optimizely мүмкүн болгон нерселердин мүмкүн болушунча төмөн болушун камсыз кылуу үчүн бир катар көзөмөл жана түзөтүүлөрдү колдонот. 

Тесттерди Optimizly орнотууга барганда, бул көзөмөл жана оңдоолор эки мааниге ээ. Биринчиден, сиз өзүңүз белгилеген метрика Негизги Метрика статистикалык мааниге эң тез жетет, калган нерселер туруктуу. Экинчиден, экспериментке канчалык көп көрсөткүчтөрдү кошсоңуз, статистиканын маанилүүлүгүнө жетүү үчүн ошончолук көп убакыт талап кылынат.

Экспериментти пландап жатканда, чечим кабыл алуу процессинде кайсы Түндүк чыныгы метрика экенин билиңиз, бул сиздин Негизги Метрикаңыз. Андан кийин, ашыкча же тангенциалдык нерселерди алып салуу менен, калган көрсөткүчтөр тизмеңизди так кармаңыз.

Стратегия #2: Өзүңүздүн жеке атрибуттарыңызды түзүңүз

Optimizely сизге эксперименттин жыйынтыктарын сегменттөөнүн бир нече кызыктуу жана пайдалуу жолдорун берүү үчүн сонун. Мисалы, сиз кээ бир дарылоо столго жана мобилдикке караганда жакшыраак иштээрин же трафик булактарындагы айырмачылыктарды байкай аласыз. Эксперимент программаңыз жетилген сайын, сиз жаңы сегменттерди тез эле каалап кетесиз-бул сиздин колдонууңузга мүнөздүү болушу мүмкүн, мисалы, бир жолку жазылуу сатып алуулары үчүн сегменттер, же "жаңыдан кайтып келген конокторго" окшош (мисалы, Чынын айтканда, эмне үчүн бул кутудан чыгарылбаганын дагы эле түшүнө албай жатабыз).

Жакшы жаңылык, Optimizely'дин Project Javascript талаасы аркылуу, Optimizely менен тааныш инженерлер конокторго берилүүчү жана сегменттелген ар кандай кызыктуу бажы атрибуттарын кура алышат. Cro Metricsде биз бардык кардарларыбызга Project Javascript аркылуу орноткон бир катар запастык модулдарды ("жаңыдан кайтып келгендер" сыяктуу) курдук. Бул жөндөмдү колдонуу - бул аларды аткарууга жардам бере турган техникалык ресурстары бар жетилген командалар менен эксперименттин толук потенциалын ишке ашыруу үчүн күрөшкөн командалардын ортосундагы негизги айырма.

Стратегия #3: Optimizely's Stats Accelerator изилдөө

Көбүнчө тестирлөөнүн инструменттеринин бир өзгөчөлүгү-бул "көп куралдуу бандиттерди" колдонуу жөндөмү, машинаны үйрөнүү алгоритминин бир түрү, эксперименттин жүрүшүндө сиздин трафик бөлүштүрүлгөн жерде динамикалуу түрдө өзгөрүп, "жеңүүчүгө" көп конок жөнөтүү. мүмкүн болушунча вариация. Көп куралчан бандиттердин көйгөйү, алардын жыйынтыктары узак мөөнөттүү иштөөнүн ишенимдүү көрсөткүчтөрү эмес, ошондуктан эксперименттердин бул түрлөрүн колдонуу учурлары сатууну илгерилетүү сыяктуу убакытты сезген учурлар менен гана чектелет.

Оптималдаштырылган, бирок, жогорку пландардагы колдонуучулар үчүн жеткиликтүү бандит алгоритминин башка түрү бар - Статистика Акселератору (азыр бандиттердин ичинде "Окууну тездетүү" деп аталат). Бул орнотууда, трафикти эң жогорку көрсөткүчкө динамикалык түрдө бөлүштүрүүнүн ордуна, Optimizly трафикти динамикалык түрдө статистикалык мааниге тез жетүү үчүн вариацияларга бөлүштүрөт. Ошентип, сиз батыраак үйрөнүп, A/B тестинин салттуу жыйынтыктарынын кайталанышын сактай аласыз.

Стратегия #4: Эмодзилерди метрикалык аттарыңызга кошуңуз

Бир караганда, бул идея, сыягы, орунсуз окшойт. Бирок, эксперименттин туура жыйынтыктарын окуп жатканыңыздын негизги аспекти аудиторияңыз бул суроону түшүнө алаарынан башталат. 

Кээде канчалык аракет кылганыбызга карабай, метрикалык аталыштар түшүнүксүз болуп калышы мүмкүн (күтө туруңуз - заказ кабыл алынганда же колдонуучу ыраазычылык баракчасына тийгенде бул көрсөткүч күйүп кетеби?), Же экспериментте жыйынтыктарды өйдө -ылдый жылдырган көптөгөн көрсөткүчтөр бар баракча жалпы когнитивдүү ашыкча жүктөмгө алып келет.

Ченөө аталыштарына эмодзилерди кошуу (максаттар, жашыл белгилер, ал тургай чоң акча сумкасы иштей алмак), алда канча сканерленүүчү баракчаларга алып келиши мүмкүн. 

Бизге ишениңиз - жыйынтыктарды окуу оңой болот.

Стратегия #5: Статистикалык маанисиңиздин деңгээлин кайра карап көрүңүз

Жыйынтыктар алар жеткенде Optimizly экспериментинин контекстинде чечүүчү болуп эсептелет статистикалык мааниси. Статистикалык маани - бул оор математикалык термин, бирок негизинен бул сиздин байкооңуз кокустук эмес, эки калктын ортосундагы чыныгы айырмачылыктын натыйжасы. 

Optimizly отчеттук статистикалык маанилүүлүгүнүн деңгээли математикалык түшүнүктүн аркасы менен "ар дайым жарактуу" ырааттуу тестирлөө - бул аларды башка тестирлөө куралдарына караганда алда канча ишенимдүү кылат, эгерде сиз аларды тез арада окусаңыз, анда ар кандай "кароо" маселелерине жакын.

Сиздин тестирлөө программаңыз үчүн статистикалык маанинин кайсы деңгээлин маанилүү деп эсептейсиз. Илим чөйрөсүндө 95% конвенция болгону менен, биз вакциналарды эмес, веб -сайттардын өзгөрүшүн сынап жатабыз. Эксперименталдык дүйнөдө дагы бир жалпы тандоо: 90%. Бирок эксперименттерди тезирээк жүргүзүү жана көбүрөөк идеяларды текшерүү үчүн дагы бир аз белгисиздикти кабыл алууга даярсызбы? Сиз 85%, ал тургай 80% статистикалык маанини колдоно аласызбы? Тобокелдик-сыйлык балансы жөнүндө атайылап болуу убакыттын өтүшү менен экспоненциалдуу дивиденддерди төлөй алат, андыктан муну жакшылап ойлонуп көрүңүз.

Optimizly Intelligence Cloud жөнүндө көбүрөөк окуңуз

Бул беш тез принциптер жана түшүнүктөр Optimizely колдонууда эстен чыгарбоо үчүн абдан пайдалуу болот. Ар кандай инструмент сыяктуу эле, сиз көшөгө артындагы бардык ыңгайлаштырууларды жакшы түшүнгөнүңүзгө ынануу үчүн иштейсиз, андыктан сиз куралды эффективдүү жана эффективдүү колдонуп жатканыңызга ишене аласыз. Бул түшүнүктөр менен сиз издеп жаткан ишенимдүү жыйынтыктарды, керек болгондо ала аласыз. 

Эмне деп ойлойсуң?

Бул сайт спам азайтуу Akismet колдонот. Сиздин комментарий маалымат кандайча иштелишин Үйрөнүү.