{"id":2245,"date":"2018-10-03T15:57:11","date_gmt":"2018-10-03T12:57:11","guid":{"rendered":"https:\/\/webanalyst.ro\/?p=2245"},"modified":"2023-05-29T11:03:59","modified_gmt":"2023-05-29T08:03:59","slug":"statistica-a-b-testing","status":"publish","type":"post","link":"https:\/\/webanalyst.ro\/blog\/2018\/statistica-a-b-testing\/","title":{"rendered":"Statistica A\/B Testelor"},"content":{"rendered":"<p>Experimentele sunt un capitol important din statistic\u0103, cu aplica\u021bii \u00een toate zonele research-ului. A\/B Testing-ul este un tip popular de experimente, fiind aplicat \u0219i \u00een zona de marketing sau product management. \u00cen marketingul online exist\u0103 instrumente care se ocup\u0103 de setarea \u0219i rularea A\/B testelor, inclusiv de partea statistic\u0103 a acestora. Totusi, aceast\u0103 parte este pu\u021bin \u00eenteleas\u0103 \u0219i, din aceasta cauz\u0103, deseori apar erori \u00een interpretarea rezultatelor.<\/p>\n<p><!--more--><\/p>\n<p>Etapele unui experiment sunt:<\/p>\n<ol>\n<li><strong>Planificarea<\/strong> &#8211; pasul \u00een care sunt stabilite variabilele, de la cea pe care o vrem optimizat\u0103 (variabila dependent\u0103), la cele care o pot influen\u021ba (variablile independente)<\/li>\n<li><strong>Design-ul<\/strong> \u2013 se refer\u0103, \u00een primul r\u00e2nd, la alegerea tipului de test potrivit situa\u021biei; online, majoritatea testelor sunt A\/B, iar rezultatele pentru dependenta variabil\u0103 sunt de forma <em>da \/ nu<\/em> (de exemplu, a dat sau nu click pe buton)<\/li>\n<li><strong>Analiza<\/strong> \u2013 dupa rularea testului, trebuie s\u0103 vedem dac\u0103 este relevant, iar rezultatele trebuie interpretate<\/li>\n<\/ol>\n<p>A\/B Testing-ul reprezint\u0103 utilizarea design-ului experimentelor \u0219i statisticii pentru a compara dou\u0103 variante. Testul poate fi g\u00e2ndit astfel \u00eenc\u00e2t fiecare participant s\u0103 vad\u0103 ambele variante sau participan\u021bii s\u0103 fie \u00eemp\u0103r\u021bi\u021bi \u00een 2 grupuri, fiecare dintre acestea av\u00e2nd disponibil\u0103 una dintre variante. \u00cen ultimul caz, este nevoie sa nu existe diferente majore intre participantii dintre cele doua grupuri.<\/p>\n<p>Primul grup este considerat grupul de control, iar al doilea este grupul c\u0103ruia \u00eei aplic\u0103m tratamentul testat (pe web, tratamentul este de obicei pagina web modificat\u0103). Existen\u021ba grupului de control ne ajut\u0103 s\u0103 observ\u0103m rezultatele \u0219i diferen\u021bele \u00een grupul al doilea. Existen\u021ba a doua grupuri, \u00een acelea\u0219i condi\u021bii, ne ajut\u0103 s\u0103 facem o compara\u021bie \u00eentre rezultatele fiecaruia. Asta nu inseamn\u0103 c\u0103 diferen\u021ba dintre ele nu poate fi cauzat\u0103 doar de \u0219ans\u0103, dar despre asta mai jos.<\/p>\n<h2>Testarea ipotezelor<\/h2>\n<p>Un A\/B Test porne\u0219te de la o ipotez\u0103 pe care dorim s\u0103 o verific\u0103m. Folosirea unei ipoteze ne ajut\u0103 s\u0103 evitam prejudecata celui care va analiza rezultatele.<\/p>\n<p>Avem doua notiuni care merg m\u00e2n\u0103-\u00een-m\u00e2n\u0103:<\/p>\n<ul>\n<li><strong>Ipoteza nul\u0103<\/strong> \u2013 presupune c\u0103 nu exista schimb\u0103ri, nu exist\u0103 diferen\u021be \u00eentre grupuri \u0219i c\u0103 orice diferenta \u00een rezultate este din cauza \u0219ansei; obiectivul este de a contrazice aceast\u0103 ipotez\u0103.<\/li>\n<li><strong>Ipoteza alternativ\u0103<\/strong> \u2013 este opusul ipotezei nule; de exemplu, dac\u0103 ipoteza nul\u0103 este c\u0103 profitul adus de ambele variante este acela\u0219i, ipoteza alternativ\u0103 este c\u0103 profitul celor dou\u0103 variante este diferit; \u00een acest exemplu, avem de testat o ipotez\u0103 \u00een dou\u0103 variante: profitul poate fi mai mic, dar poate fi \u0219i mai mare; este important deoarece testarea statistic\u0103 se face diferit atunci cand avem ipoteza \u00eentr-o variant\u0103 sau \u00een dou\u0103.<\/li>\n<\/ul>\n<p>Testarea ipotezelor pleac\u0103 de la asumarea c\u0103 ipoteza nul\u0103 este adev\u0103rat\u0103, cre\u00e2nd un model probabilistic \u201enul\u201d si testeaz\u0103 daca efectul observat este un rezultat datorat acelui model.<\/p>\n<p><strong>Analiza puterii<\/strong> <strong>statistice<\/strong> este folosit\u0103 pentru a analiza corect rezultatele unui test. De exemplu, rezultatele pot fi influen\u021bate de diverse erori de m\u0103surare. Cu c\u00e2t erorile sunt mai mari, cu at\u00e2t puterea statistic\u0103 este mai mic\u0103, dar cu c\u00e2t e\u0219antionul pe care test\u0103m este mai mare, cu atat erorile de m\u0103surare sunt mai mici. Pe de alt\u0103 parte, cu c\u00e2t e\u0219antionul este mai mare, scade efectul (de exemplu, corela\u021bia). Dar mai bine sa l\u0103murim no\u021biunile folosite \u00een analiza puterii:<\/p>\n<ul>\n<li><strong>Puterea <\/strong>este probabilitatea de a contrazice ipoteza nula. Este si baza de la care se porneste pentru a calcula esantionul pe care trebuie s\u0103 rul\u0103m testul, pentru a ajunge la efectul dorit.<\/li>\n<li><strong>Efectul <\/strong>este diferenta pe care dorim sa o avem intre cele doua grupuri testate, pentru a numi testul un succes.<\/li>\n<li><strong>Pragul de semnifica\u021bie<\/strong>, notat de multe ori <strong>alfa<\/strong> sau <strong>valoarea p<\/strong>, reprezinta nivelul de probabilitate de la care agre\u0103m c\u0103 ipoteza nul\u0103 este respins\u0103. Cel mai adesea, \u00een testarea ipotezelor, pragul este de 5% (a se vedea \u00een imaginea de la \u00eenceput zona care acoper\u0103 95% \u0219i restul de aproximativ 5%),<\/li>\n<li><strong>E\u0219antionul<\/strong> este numarul necesar de unit\u0103\u021bi (de exemplu, persoane) pe care test\u0103m, pentru a avea rezultate la puterea \u0219i efectul dorite.<\/li>\n<\/ul>\n<p>Cunosc\u00e2nd o parte dintre ace\u0219ti indicatori, \u00eei putem calcula \u0219i pe ceilal\u021bi. <a href=\"https:\/\/webanalyst.ro\/blog\/2015\/nps\/\" target=\"_blank\" rel=\"noopener\">\u00cen trecut<\/a> mi s-a repro\u0219at c\u0103 am scris formule statistice \u00een articole \u0219i cititorii nu sunt interesa\u021bi, motiv pentru care o s\u0103 spun doar c\u0103 exist\u0103 o mul\u021bime de instrumente (software statistic, de programare sau instrumente de A\/B Testing) cu care se pot face simplu aceste calcule.<\/p>\n<p>Cele mai importante rela\u021bii \u00eentre indicatorii men\u021biona\u021bi anterior sunt:<\/p>\n<ul>\n<li>Cu c\u00e2t puterea este mai mare, \u0219i e\u0219antionul necesar va fi mai mare.<\/li>\n<li>La putere constanta \u0219i prag de semnifica\u021bie crescut, e\u0219antionul va fi mai mic.<\/li>\n<li>La putere \u0219i prag de semnificatie constante, pe masura ce efectul cre\u0219te, e\u0219antionul va scadea.<\/li>\n<\/ul>\n<p>Cum \u00een A\/B Testing ne intereseaz\u0103 s\u0103 avem un e\u0219antion c\u00e2t mai mic, pentru ca testul s\u0103 dureze mai pu\u021bin, putem spune c\u0103 pentru asta avem nevoie de putere c\u00e2t mai mic\u0103, prag de semnifica\u021bie ridicat \u0219i efect mai mare. Aten\u021bie \u00eens\u0103, aceste lucruri pot face testul irelevant statistic!<\/p>\n<h3>Testul t<\/h3>\n<p>Exist\u0103 numeroase teste statistice utilizate pentru a afla dac\u0103 s-a ob\u021binut relevan\u021ba statistic\u0103. Ideal, un test este validat prin re-e\u0219antionare. Altfel spus, cele doua grupuri sunt combinate \u00eentr-unul singur \u0219i apoi \u00eemp\u0103r\u021bite din nou \u00een dou\u0103, \u00eentr-un mod aleator, dup\u0103 care se verific\u0103 dac\u0103 rezultatele A\/B Testului sunt \u00een continuare valide, lucru care se repet\u0103 de mai multe ori. Metoda este numit\u0103 <strong>testul permut\u0103rii<\/strong> \u0219i este folosit\u0103 \u00een <em>data science<\/em> \u0219i <em>machine learning<\/em>.<\/p>\n<p>\u00cen urma cu aproximativ un secol, c\u00e2nd a ap\u0103rut testarea ipotezelor, puterea de calcul nu permitea folosirea testului permut\u0103rii, a\u0219a c\u0103 au gasit alte metode pentru a aproxima permutarea distribu\u021biilor. Unul dintre cele mai simple este <strong>Testul t<\/strong>. \u00cen acelasi timp, aceast\u0103 metod\u0103 este potrivit\u0103 pentru A\/B Testing, scopul s\u0103u fiind acela de a compara dou\u0103 e\u0219antioane (\u00een cazul nostru, grupurile A \u0219i B), ale caror date sunt numerice.<\/p>\n<p>Pentru ca testul t s\u0103 poat\u0103 fi folosit indiferent de scal\u0103, ar fi nevoie \u00een acest punct de standardizarea datelor \u00eenainte de a fi comparate cu distribu\u021bia t standard. Dar, la fel ca \u0219i \u00een cazul calculului e\u0219antionului sau a puterii statistice, \u00een ziua de astazi avem software care s\u0103 se ocupe de aceste lucruri \u0219i s\u0103 ne ofere direct rezultatul de la testul t. \u00cen acest caz, exist\u0103 chiar \u0219i o formul\u0103 \u00een Excel (pe lang\u0103 celelalte variante software, de statistic\u0103 sau de programare).<\/p>\n<p>Rezultatul testului va fi <strong>valoarea p<\/strong>, de care am mai vorbit mai sus. Conditia este aceea\u0219i, ca aceasta s\u0103 fie mai mica sau egala cu 5% sau 0.05 (sau valoarea aleas\u0103 la \u00eenceputul testului). \u00cen acest caz, testul efectuat are relevan\u021b\u0103 statistic\u0103. Interpretarea gre\u0219it\u0103 a valorii p este una dintre principalele probleme \u00een A\/B Testing.<\/p>\n<h2>Ce urmeaza dup\u0103 testarea ipotezelor<\/h2>\n<p>Metodele descrise mai sus reprezint\u0103 esen\u021bialul \u00een statistica A\/B Testelor. Pe l\u00e2n\u0103 acestea, a\u0219 mai aminti doar de factorii externi care pot influen\u021ba un test \u0219i de efectele adverse care pot ap\u0103rea.<\/p>\n<p>\u00cen plus, exist\u0103 \u0219i diferite \u0219coli statistice cu p\u0103reri \u0219i metode diferite. Cele mai cunoscute sunt metodele frecventist\u0103 \u0219i bayesian\u0103, dar acestea nu sunt singurele. Metoda frecventist\u0103 de A\/B Testing este folosit\u0103 \u00een cercetarea academic\u0103, dar \u00een marketingul online este folosit\u0103 de persoane f\u0103r\u0103 cuno\u0219tinte statistice, motiv pentru care testele sunt oprite de multe ori prea devreme.<\/p>\n<p>Pentru a evita oprirea unui test care, pe moment, pare a avea rezultate relevante statistic, este nevoie sa calculezi e\u0219antionul necesar \u00eenainte de a \u00eencepe testul \u0219i apoi s\u0103 a\u0219tep\u021bi s\u0103 atingi acest num\u0103r, indiferent de recomandarile f\u0103cute \u00een timpul testului de instrumentul de A\/B Testing utilizat.<\/p>\n<p>Din cauz\u0103 c\u0103 utilizatorii interpreteaz\u0103 de multe ori gre\u0219it valoarea p \u0219i pragul de semnifica\u021bie (care duce la eroarea pe care tocmai am descris-o), instrumente cunoscute de A\/B Testing au decis s\u0103 foloseasca metoda secven\u021bial\u0103 sau metoda bayesian\u0103. Fiecare are avantaje \u0219i dezavantaje, dar se recomand\u0103 folosirea metodei bayesiene atunci c\u00e2nd ai informa\u021bii anterioare despre utilizatori. \u00cen schimb, c\u00e2nd lipsesc aceste informa\u021bii, este recomandat\u0103 metoda frecventist\u0103.<\/p>\n<p>A nu se \u00een\u021belege c\u0103 metodele alternative nu pot induce utilizatorii \u00een eroare. Un exemplu ar fi metoda bayesian\u0103 folosit\u0103 de <a href=\"https:\/\/webanalyst.ro\/blog\/tag\/vwo\/\" target=\"_blank\" rel=\"noopener\">VWO<\/a>, instrument care de multe ori semnaleaz\u0103 \u00een teste c\u0103 s-a ajuns la o decizie inteligent\u0103 \u0219i c\u0103 pot fi oprite pentru c\u0103 exist\u0103 un c\u00e2\u0219tig\u0103tor. \u00cen realitate, \u00een acel moment s-a constatat doar c\u0103 nu mai exist\u0103 pierderi fa\u021b\u0103 de alegerea celeilalte variante, dar de aici p\u00e2n\u0103 la avea un c\u00e2\u0219tig\u0103tor statistic mai este drum de parcurs. Discu\u021bia despre metodele folosite este departe de finalizare \u0219i probabil o s\u0103 reiau subiectul \u00een articole viitoare.<\/p>\n<p><em><a href=\"https:\/\/www.ck12.org\" target=\"_blank\" rel=\"noopener\">Sursa foto<\/a><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Experimentele sunt un capitol important din statistic\u0103, cu aplica\u021bii \u00een toate zonele research-ului. A\/B Testing-ul este un tip popular de experimente, fiind aplicat \u0219i \u00een zona de marketing sau product management. \u00cen marketingul online exist\u0103 instrumente care se ocup\u0103 de setarea \u0219i rularea A\/B testelor, inclusiv de partea statistic\u0103 a acestora. Totusi, aceast\u0103 parte este [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":2246,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[543,862,861,675,860],"class_list":["post-2245","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-testing-optimization","tag-ab-testing","tag-analiza-puterii","tag-puterea-statistica","tag-relevanta-statistica","tag-testul-t"],"_links":{"self":[{"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/posts\/2245","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/comments?post=2245"}],"version-history":[{"count":5,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/posts\/2245\/revisions"}],"predecessor-version":[{"id":3452,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/posts\/2245\/revisions\/3452"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/media\/2246"}],"wp:attachment":[{"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/media?parent=2245"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/categories?post=2245"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/webanalyst.ro\/blog\/wp-json\/wp\/v2\/tags?post=2245"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}