Marketinški eksperimenti i A/B testovi: vodič za firme u BiH
Kako postaviti marketinški test s kontrolnom grupom i pravilom odluke, koliko ljudi treba, kako testirati stranicu, e-mail i oglase i šta naučiti iz testa koji nije uspio.
Ukratko: Marketinški eksperiment poredi novu verziju sa starom na nasumično podijeljenoj publici, uz jedan pokazatelj i pravilo odluke dogovoreno prije početka. Prema grubim procjenama velikih tehnoloških firmi, samo od 8% do 33% testiranih ideja popravi glavni pokazatelj, a na malom uzorku pouzdano se vide samo velike razlike. Naša preporuka: zapisujte i testove koji nisu uspjeli.
Vodič je za marketinške timove, vlasnike i menadžere firmi u BiH koji o novoj ponudi, naslovu ili oglasu žele odlučiti na osnovu testa, a ne rasprave na sastanku. Ostale tekstove o tržištu i promociji naći ćete u temi Marketing.
Istraživanje o tome koliko firme u BiH testiraju marketinške ideje nismo našli. Radovi u vodiču su uglavnom iz SAD-a i iz velikih internet firmi, a uz savjet koji nijedno istraživanje ne mjeri piše da je naš.
Šta je marketinški eksperiment?
U najjednostavnijem kontrolisanom eksperimentu, koji se zove i A/B test, ljudi se nasumično dijele na dvije grupe: kontrolna vidi postojeću verziju (A), a druga novu (B). Ron Kohavi i saradnici iz Microsofta (pregledni rad u časopisu Data Mining and Knowledge Discovery, 2009) naglašavaju da je presudna nasumična podjela: ništa ne smije uticati na to ko vidi koju verziju. Ako je test dobro postavljen i izveden, jedina stalna razlika između grupa je promjena koju testirate, pa se razlika u rezultatu može pripisati njoj.
Poređenje prije i poslije to ne može: kad prodaja poraste u mjesecu nove kampanje, razlog mogu biti i sezona, praznici ili poskupljenje kod konkurencije (naši primjeri). Zašto je mjerenje bez kontrolne grupe nepouzdano i šta pratiti, opisali smo u vodiču o marketinškoj analizi podataka.
Ishod je teško pogoditi unaprijed. Kohavi i saradnici opisuju online prodavnicu koja je, kako navode, s novom stranicom za plaćanje i poljem za kod za popust izgubila 90% prihoda: kupci su se, po objašnjenju autora, zapitali plaćaju li previše. Autori iz iskustva pišu da se veliko učenje i povrat ulaganja vide kad timovi koji razvijaju proizvod slušaju kupce, a ne mišljenje najplaćenije osobe (engl. HiPPO, Highest Paid Person's Opinion).
Zašto firme izbjegavaju eksperimente?
Razlozi u tabeli su naša procjena iz prakse, ne nalaz ankete; uz svaki je naš prijedlog.
| Razlog | Šta pomaže (naša preporuka) |
|---|---|
| Strah od neuspjeha i gubitka novca, jer su budžeti strogo određeni | Unaprijed ograničite trošak i trajanje testa. Neuspio test košta manje od cijele kampanje s istom idejom. |
| Nedostatak znanja o novim alatima i metodama | Počnite s alatom koji već imate, na primjer s A/B testom u programu za newsletter, a kod kampanja s mnogo konverzija i s eksperimentom u Google Adsu. |
| Strah od narušavanja brenda | Testirajte samo ono što biste mogli pokazati svima. Nova verzija prolazi isto odobrenje kao svaka kampanja. |
| Birokratija i spora odobrenja u većim firmama | Dogovorite jednom šta tim smije testirati bez posebnog odobrenja (naslov, slika, poziv na akciju), a šta ide upravi. |
| Fokus na brze, kratkoročne rezultate | Pratite i duži učinak, na primjer da li se kupci vraćaju. Kohavi i saradnici savjetuju da dugoročni ciljevi budu dio glavnog pokazatelja. |
Izvor: razlozi i prijedlozi su naši; savjet u zadnjem redu je iz rada Kohavija i saradnika (2009).
Testiranje je rijetko i tamo gdje je jeftino. Rembrand Koning, Sharique Hasan i Aaron Chatterji (Management Science, 2022) pratili su od 2015. do 2019. sedmične podatke o 35.262 startupa iz baze Crunchbase. Alat za A/B test na stranici barem jednu sedmicu u te četiri godine koristilo je nešto manje od 18% njih, a među startupima izvan SAD-a 16,1%.
Prema modelima autora, firme koje su počele testirati imale su u prvim mjesecima oko 10% više posjeta stranici nego bez testiranja, a poslije godinu dana od 30% do 100% više. Posjete nisu brojane direktno, nego ih je procijenio servis SimilarWeb. Te firme su češće i rasle i propadale, što autori tumače kao testiranje važnih ideja i brže odustajanje od loših. Upozoravaju da testiranje firmama nije dodijeljeno nasumično, nego su ga same izabrale, pa učinak može biti precijenjen, i da su to digitalne firme, kojima je test jeftin. Slične podatke za BiH nismo našli.
Šta treba za dobar test?
Kohavi i saradnici savjetuju da se svi uključeni prije početka dogovore kako će se test ocijeniti; ako se pokazatelj bira poslije, raste rizik da se nađu rezultati koji izgledaju značajni samo slučajno. Lista je naša preporuka zasnovana na radovima iz vodiča; gdje je savjet iz rada, to piše.
- Jedno pitanje. Napišite ga kao pretpostavku, na primjer: ako u oglasu umjesto popusta ponudimo besplatnu dostavu, bit će više narudžbi.
- Jedan glavni pokazatelj, izabran prije početka: narudžbe, upiti ili prijave. Klikovi i oznake „sviđa mi se“ su pomoćni.
- Kontrolna grupa koja u isto vrijeme vidi postojeću verziju. Podjelu na grupe prepustite alatu.
- Dovoljno ljudi. Prije početka izračunajte koliko vam treba (sljedeći dio). Ako toliko nemate, testirajte veću promjenu.
- Cijele sedmice. Kohavi i saradnici preporučuju najmanje jednu do dvije sedmice i produžavanje za cijele sedmice, jer vikendom na mnoge stranice dolaze drugačiji ljudi.
- Pravilo odluke unaprijed. Zapišite šta znači da nova verzija pobjeđuje, šta znači da razlike nema i šta tada radite. Ako nova verzija traži više posla ili troška, mala prednost možda ne pokriva taj trošak, na šta upozoravaju i Kohavi i saradnici.
Glavni pokazatelj treba proizaći iz cilja marketinga. Kako postaviti ciljeve i kako ih mjeriti, opisali smo u vodiču o marketinškoj strategiji.
Koliko ljudi treba za test?
Snaga testa je vjerovatnoća da test pokaže razliku kad ona stvarno postoji. Za dvije verzije iste veličine, uz 95% pouzdanosti i 80% snage, Kohavi i saradnici (2009) daju približnu formulu: broj ljudi po verziji je 16 puta varijansa pokazatelja, podijeljeno s kvadratom razlike koju želite otkriti. Kod stope konverzije p (udio posjetilaca koji kupe ili pošalju upit) varijansa je p puta (1 minus p). Zato male promjene traže mnogo ljudi: u primjeru iz rada, kad kupi 5% posjetilaca, za promjenu od 5% (na 5,25%) treba nešto manje od 122.000 posjetilaca po verziji.
| Stopa konverzije sada | Promjena koju želite otkriti | Posjetilaca po verziji, približno |
|---|---|---|
| 2% | 20% (na 2,4%) | 19.600 |
| 2% | 50% (na 3%) | 3.200 |
| 5% | 20% (na 6%) | 7.600 |
| 5% | 50% (na 7,5%) | 1.250 |
| 10% | 20% (na 12%) | 3.600 |
| 10% | 50% (na 15%) | 580 |
Izvor: formula iz rada Kohavija i saradnika (2009), 95% pouzdanosti i 80% snage; računica je naša, zaokružena naviše jer formula daje najmanji broj, osim reda za 5% i 20%, koji je primjer iz rada.
Kohavi, Alex Deng i Lukas Vermeer (rad s konferencije KDD, 2022) opisuju objavljen test dvije odredišne stranice: 82 posjetioca u kontrolnoj grupi s 3 konverzije i 75 u novoj verziji s 12 konverzija, uz objavljen rast od 337%. Po njihovoj računici, za otkrivanje promjene od 10% pri konverziji od 3,7% trebalo je 41.642 posjetioca po verziji, a test je imao snagu od samo 3%. Autori zaključuju da takvom rezultatu ne treba vjerovati i upozoravaju da značajan rezultat iz testa s malom snagom vjerovatno jako preuveličava učinak.
Kako testirati web stranicu?
Na stranici se mogu testirati naslov, ponuda, dugme za narudžbu ili polja u formi. Googleov alat za takve testove, Google Optimize, ne radi od 30. septembra 2023. (obavijest Googlea); Google navodi da ulaže u povezivanje Google Analyticsa s alatima drugih firmi za A/B testove.
Kohavi i saradnici (2009) preporučuju da svaku verziju vidi po 50% posjetilaca, jer tada test najbrže prikupi dovoljno podataka: test s podjelom 99 prema 1 trajao bi oko 25 puta duže. Rizik savjetuju smanjiti postepeno: novu verziju prvo pokazati malom dijelu posjetilaca, provjeriti da nema greške, pa tek onda podijeliti promet na pola. Čest savjet da se testira na malom uzorku čitamo ovako: mali treba biti rizik, a uzorak dovoljno velik.
Iz istog rada su još dva savjeta. Analizirajte samo ljude koji su promjenu mogli vidjeti (kad mijenjate plaćanje, samo one koji su počeli plaćati), jer ostali dodaju šum; u računskom primjeru iz rada to potreban broj posjetilaca smanjuje skoro na pola. I računajte s tim da neki posjetioci novu verziju isprobavaju iz radoznalosti, a stalni se u početku slabije snalaze dok se ne naviknu, pa neke testove treba voditi više sedmica.
Kako testirati e-mail?
Neki programi za newsletter imaju ugrađen A/B test. U Mailchimpu, na primjer, birate jednu vrstu promjene (naslov poruke, ime pošiljaoca, sadržaj ili vrijeme slanja) i do tri varijante, a program ih nasumično šalje različitim primaocima. Kad je lista mala, Mailchimp savjetuje da test ide svima odjednom; kad je velika, test ide dijelu liste, a pobjednička verzija ostalima.
Pobjednika program može birati po otvaranju, klikovima ili, uz povezanu online prodavnicu, po prihodu. Apple za aplikaciju Mail na iPhoneu navodi da zaštita privatnosti, kad je korisnik uključi, pošiljaocu ne dopušta da vidi da li je poruka otvorena, a da se ne odnosi na linkove. Naša preporuka: pobjednika birajte po klikovima ili narudžbama, a kod liste od nekoliko stotina adresa isti test ponovite u dvije ili tri kampanje prije nego što ga proglasite pravilom.
Kako testirati oglase?
U Google Adsu eksperiment dijeli promet i budžet između postojeće kampanje i probne verzije, a vi birate koliko dugo traje i koliki dio prometa ide probi. Google u pomoći za eksperimente navodi da podjela 50 prema 50 ne garantuje jednak trošak, da probnoj verziji treba dati od 7 do 14 dana da se stabilizuje i da za pouzdane rezultate osnovna kampanja treba ispuniti minimalne uslove, na primjer više od 100 konverzija dnevno. Naša procjena je da toliko konverzija ima malo kampanja malih firmi u BiH.
Učinak oglasa je i inače teško izmjeriti, jer kupovina od osobe do osobe jako varira. Randall Lewis i Justin Rao (The Quarterly Journal of Economics, 2015) analizirali su 25 velikih eksperimenata s oglasima američkih trgovaca i brokerskih firmi, većinom s milionima kupaca. Medijan širine intervala povjerenja za povrat ulaganja bio je veći od 100 procentnih poena, a eksperiment iz kojeg se nešto može zaključiti lako traži više od 10 miliona osoba-sedmica (naš primjer: milion ljudi praćenih deset sedmica).
Naša preporuka za mali budžet: testirajte velike razlike, kao što su druga ponuda ili druga publika, mjerite ono što oglas direktno pokreće (upit, poziv, prijavu) i ne mijenjajte kampanju dok test traje, jer izmjena znači novi test. I Google u istoj pomoći savjetuje da se eksperiment ne mijenja dok je strategija licitiranja u fazi učenja (obično 7 dana). Kako postaviti mali plaćeni test s pravilom prekida, opisali smo u vodiču o marketingu s malim budžetom.
Šta ako imate malo posjeta ili kupaca?
Ovo su naše preporuke; dio se oslanja na rad Kohavija i saradnika (2009).
- Testirajte hrabrije promjene. Autori savjetuju da se probaju i sasvim različita rješenja, ne samo sitne izmjene. Velika razlika traži mnogo manje ljudi (tabela iznad).
- Birajte pokazatelj koji manje varira. U računskom primjeru iz rada stopa konverzije umjesto potrošnje po posjetiocu smanjuje potreban broj ljudi 3,3 puta.
- Produžite test, ali ne previše: autori period duži od 125 dana smatraju predugim za pouzdan rezultat.
- Razgovarajte s kupcima. Test pokaže koja je verzija bolja i za koliko, ali ne i zašto; autori zato preporučuju da se test dopuni posmatranjem korisnika i probama na papiru. Nekoliko razgovora s kupcima ništa ne dokazuje, ali pokaže šta vrijedi testirati.
- Testirajte i van interneta. Dvije verzije letka ili ponude s različitim kodom za popust, podijeljene nasumično, također su test; mjerite koliko je kodova iskorišteno.
Koje su najčešće greške?
- Prerano zaustavljanje. Kohavi, Deng i Vermeer opisuju alat čiji su korisnici, kako je proizvođač tada i savjetovao, gledali rezultate dok test traje i zaustavljali ga čim bi rezultat postao značajan; takvo ponavljano testiranje znatno povećava udio lažno pozitivnih rezultata. Ramesh Johari i saradnici (Operations Research, 2022) pišu da su uobičajene p-vrijednosti potpuno nepouzdane ako se o veličini uzorka odlučuje stalnim praćenjem testa. Naša preporuka: trajanje odredite unaprijed. Johari i saradnici predlažu i metodu koja dopušta stalno praćenje; ako vaš alat nudi takvo praćenje, koristite ga.
- Previše stvari odjednom. Kohavi, Deng i Vermeer navode da više verzija i traženje razlike po grupama (spol, starost, mjesto) povećavaju šansu za lažno pozitivan rezultat; iz istog razloga Kohavi i saradnici (2009) traže da se glavni pokazatelj izabere unaprijed. Oni savjetuju i testove s jednom promjenom kad želite saznati šta je djelovalo, a pravilo „uvijek samo jedna promjena“ smatraju preuskim.
- Rezultat koji izgleda predobro. Kohavi, Deng i Vermeer podsjećaju na Twymanov zakon, kako ga navodi knjiga Trustworthy Online Controlled Experiments (Kohavi, Diane Tang i Ya Xu, Cambridge University Press, 2020): broj koji izgleda zanimljivo ili drugačije obično je pogrešan. Autori preporučuju da se iznenađujući rezultat ponovi. Naša preporuka: prije toga provjerite da li je alat ljude podijelio kako je planirano.
- Puštanje nove verzije „jer ne škodi“. Kohavi i saradnici (2009) upozoravaju da test bez značajne razlike može značiti i da razlike nema i da test nije imao dovoljno snage, pa nova verzija može biti i lošija.
Kako napraviti kulturu u kojoj je neuspio test koristan?
U velikim tehnološkim firmama većina testiranih ideja ne popravi glavni pokazatelj. Kohavi, Deng i Vermeer (KDD 2022) navode objavljene procjene o tome koliki dio testova firma smatra stvarnim poboljšanjem: Microsoft 33%, Bing 15%, Booking.com, Google Ads i Netflix oko 10%, pretraga na Airbnbu 8%. Autori napominju da su brojke možda dobijene na različite načine, da prave udjele ne znamo i da su to grube procjene.
Tim Microsoftovog pretraživača Bing (Kohavi i saradnici, rad s konferencije KDD, 2013) piše da su testovi otkrili mnogo loših novih funkcija koje zato nisu pustili, iako su ih važni ljudi u firmi isprva dočekali s oduševljenjem. Kod startupa iz istraživanja Koninga i saradnika testiranje je išlo uz brže odustajanje od loših ideja. Naše čitanje: dobro postavljen test koji nije uspio pokazuje šta ne raditi, a ne grešku tima.
Naša preporuka za tim:
- Vodite registar testova: pitanje, verzije, pokazatelj, pravilo odluke, rezultat i šta ste naučili. Upisujte i testove koji nisu uspjeli i one bez jasnog rezultata.
- Ocjenjujte test po tome da li je dobro postavljen i izveden, ne po tome da li je ideja pobijedila.
- I ideja direktora ide na test, po istim pravilima.
- Jednom mjesečno pokažite timu jedan test koji nije uspio i šta je iz njega naučeno.
Kako u timu smišljati ideje vrijedne testa i graditi povjerenje u kojem ljudi smiju reći da nešto nije uspjelo, opisali smo u vodiču o kreativnosti i inovacijama u timu.
Lista za provjeru prije testa
Pitanja su naša preporuka.
- Na koje jedno pitanje test treba odgovoriti?
- Koji je glavni pokazatelj i da li je zapisan prije početka?
- Da li alat dijeli ljude nasumično i da li kontrolna grupa u isto vrijeme vidi postojeću verziju?
- Koliko ljudi po verziji treba i za koliko cijelih sedmica ćemo ih imati?
- Šta radimo ako nova verzija pobijedi, ako izgubi i ako razlike nema?
- Koliko test smije koštati?
- Gdje ćemo zapisati rezultat, i kad test ne uspije?