Teettekö teijän yrityksessä konversio-optimointia?
Joo, kyl me ollaan tehty pari A/B-testiä ja saatii niist hyviä tuloksia. Niitä pitäis tehä vaa enemmän…
Onko tutun kuuloinen kysymys-vastaus?
Konversio-optimointi mielletään hyvin usein A/B-testaukseksi, vaikka tosiasiassa se on hyvin paljon muutakin kuin A/B-testien ajamista.
Ymmärrän kyllä hyvin, miksi A/B-testaus on niin suosittua. Siinä on psykologisesti hyvin samoja elementtejä kuin vaikka vakioveikkauksessa. Tehdään arvaus, odotetaan tietty aika ja katsotaan tuliko voitto.
Konversio-optimoinnissa A/B-testaus on kuitenkin vain matemaattinen keino vahvistaa idea todeksi. Tosin sitäkin tietämättään väärinkäytetään ja tehdään pahimmillaan kamalia päätöksiä.
Seuraavassa käyn läpi esimerkein, miten teet oikeita tai vääriä päätöksiä A/B-testauksella.
Milloin A/B-testausta kannattaa tehdä?
Kun pohditaan sopivaa tilannetta toteuttaa A/B-testi, niin pitää ottaa huomioon seuraavat päätekijät:
- Onko mitattavan liiketoiminnan kasvuun tähtäävän tavoitteen seuranta kunnossa ja historiadataa riittävästi?
- Riittääkö verkkosivuston tai sen tiettyjen sivujen kävijämäärä järkevään A/B-testaukseen?
Paras mahdollinen mittari A/B-testin onnistumiselle on jo aikaisemmin todettu vaikuttavan liiketoimintaan positiivisesti. Esimerkiksi verkkokaupassa se on usein euromääräinen myynti ja B2B-verkkosivustolla myyjälle lähtenyt liidi.
Mikä ikinä mittari on, niin on tärkeää, että sille on jo olemassa dataa esimerkiksi viimeisen kolmen kuukauden ajalta (mielellään koko vuodelta kausivaihteluiden takia). Sen avulla pystytään laskemaan A/B-testiin tarvittava kävijäotos, joka auttaa testaajaa pysäyttämään testin oikeaan aikaan.
Esimerkki A/B-testauksen haasteista
Käytetään esimerkkinä mielikuvitusyritys Keksimonsteri Oy:tä, jonka tavoitteena on saada liidejä jättiläiskeksien myyjille. Alla kaavio heidän verkkosivuston tämän vuoden kävijöistä ja liideistä.
Keskimäärin Keksimonsterin verkkosivustolla on 30 748 kävijää ja saavuttavat 263 liidiä kuukaudessa, jolloin konversioprosentti on 0,85%.
Keksimonsterin markkinointitiimi on suunnitellut verkkosivustolleen uuden päänavigaation, josta on tehty uusi versio beta-sivustolle. Tiina Tiiminvetäjä haluaa A/B-testata uuden navigaation vahvistaakseen muutoksen hyödyt yrityksen johdolle ja saadakseen positiivisten tulosten kautta lisää budjettia kehitystyöhön.
Tiina on kokenut A/B-testaaja ja tietää, että testiin tarvittava kävijäotos on hyvä määrittää jo etukäteen ennen testin aloitusta.
Hän myös arvioi, että uudella päänavigaatiolla voisi olla vähintään 10% positiivinen vaikutus verkkosivuston konversioasteeseen. Lisäksi hän tietää, että A/B-testin tuloksen tilastollisen todennäköisyyden kannattaa olla vähintään 95% luokkaa, jotta virhepäätökselle jää tilaa vain 5%.
Kävijäotoksen arvioinnissa Tiina käyttää tunnetun A/B-testityökalun Optimizelyn Sample Size Calculatoria ja saa aiemmin mainittujen lukujen avulla seuraavat tulokset:
”Ohhoh!” huokaa Tiina. Ja ihan syystäkin.
Laskurin mukaan Tiina tarvitsisi A/B-testiin 240 000 kävijää per variaatio eli yhteensä 480 000 kävijää (kaksi variaatiota). Se tarkoittaisi, että nykyisellä Keksimonsterin kuukausittaisella kävijämäärällä A/B-testin pitäisi olla käynnissä yli 15 kuukautta!
Kenellä olisi aikaa odotella A/B-testin valmistumista 15 kuukautta? Keksitkin homehtuvat jo siinä ajassa…
Tiina päättää, että markkinointitiimin pitää tehdä uuteen päänavigaatioversioon vielä isompia muutoksia, jotta se varmasti vaikuttaa kävijöiden käyttäytymiseen verkkosivustolla.
Kun toinen versio valmistuu, niin Tiina arvioi, että sillä voisi olla konversioasteeseen vähintään jopa 30% positiivinen vaikutus. Katsotaanpa, kuinka paljon kävijöitä tarvitaan tunnistaman tällainen vaikutus.
A/B-testiin tarvittava kävijämäärä tippui dramaattisesti 240 000 kävijästä 23 000 kävijää per testivariaatio. Edelleen testiin tarvittaisiin siis 46 000 kävijää 95% tilastollisen todennäköisyyden saavuttamiseksi.
Keksimonsterin kohdalla tämä tarkoittaisi hieman yli kuuden viikon mittaista A/B-testiä. Alkaa jo kuulostaa paljon paremmalta, eikö?
Toki monilla yrityksillä ei ole aikaa odottaa senkään vertaa.
Mitä jos meillä ei ole aikaa odottaa kuutta viikkoa?
Tällöin vaihtoehtoja on neljä:
- Toteuta kehitysideoita, joilla on todennäköisesti vielä isompi muutos nykyiseen konversioasteeseen.
- Hanki verkkosivustollesi lisää laadukasta kävijäliikennettä esimerkiksi hakukoneoptimoinnin avulla.
- Käytä A/B-testin mittarina jotain muuta kuin liidejä tai euromääräistä myyntiä.
- Ota isompi riski ja laske A/B-testituloksen tilastollisen todennäköisyyden aste esimerkiksi 80-prosenttiin.
Suosittelen kahta ensimmäistä vaihtoehtoa, tietyssä tilanteessa kolmatta vaihtoehtoa, mutta en neljättä.
Kolmas vaihtoehto eli jonkin muun mittarin kuin liiketoimintaan suoraan vaikuttavan mittarin käyttäminen on hyvä vaihtoehto silloin, mikäli sen vaikutus liiketoimintaan on tutkittu. Jos A/B-testin mittarina käytettäisiin esimerkiksi välitöntä poistumisprosenttia (bounce rate), niin tällöin dataperusteisen päätöksen tekoon pitää analysoida välittömän poistumisprosentin vaikutus verkkosivuston liiketoiminnalliseen toimivuuteen. Muuten testataan ja parannetaan välitöntä poistumisprosenttia ja kun toimitusjohtaja kysyy, että ”kuinka se vaikuttaa myyntiin?”, niin tähän pitää pystyä vastaamaan muutenkin kuin mutu-tuntumalla.
Neljännen vaihtoehdon toteuttaminen tarkoittaa sitä, että otat 20% riskin sille, että A/B-testin tulos on niin kutsuttu ”false positive” eli virheellinen positiivinen tulos.
Vaikka A/B-testityökalu näyttäisi, että uusi variaatio olisi 30% nykyistä parempi, niin siihen on 20% mahdollisuus, että asia ei ole näin. Se on suuri virhemarginaali, mikä voi jopa kumuloitua, jos päätöksiä tehdään useita 80% tilastollisen todennäköisyyden omaavien A/B-testien perusteella.
Tee A/B-testausta isoilla muutoksilla
Edellä kuvatusta esimerkistä nähdään hyvin, että jos verkkosivuston kävijämäärä on pieni, niin A/B-testattavan muutoksen pitää olla erittäin tuntuva, jotta A/B-testejä pystytään toteuttamaan järkevässä ajassa.
Kysyt varmasti, että mikä sitten tekee muutoksesta ison.
Pääsääntöisesti isoimpia muutoksia ovat sellaiset, joissa elementtejä ja toiminnallisuuksia lisätään tai poistetaan. Jos vain muutat sivun olemassa olevaa elementtiä, esimerkiksi sisäisen haun sijaintia ja kokoa, niin todennäköisesti sen vaikutus ei ole yhtä suuri kuin että jos hakutoiminnallisuuden poistaisi kokonaan tai sen lisäisi täysin uutena.
Aivan kuten edellä mainittu esimerkki sisäisen haun lisäämisestä tai poistamisesta, lähtökohtaisesti kaikkien isojen muutosten pitää tähdätä kävijän käyttäytymisen muuttamiseen. Jos sinulla on laaja verkkosivusto eikä siellä ole aikaisemmin pystynyt hakemaan vapaalla haulla, niin se aivan taatusti muuttaa kävijöidesi käyttäytymistä eli sitä, kuinka he etsivät tarvitsemaansa tietoa.
Käyttäytymisen tutkiminen on toki ihan oma tieteenlajinsa, mutta otetaan yksinkertainen esimerkki. Eräs markkinoinnin merkkihenkilö totesi näin:
”Ihmiset käyvät kaikilla muilla verkkosivustoilla useammin kuin sinun verkkosivustollasi.”
Toteamuksessa piilee viiltävä viisaus. Käytetään esimerkkinä ostoskorin sijaintia verkkokaupoissa. Se ostoskärryn tai ostoskassin näköinen ikoni on aina siellä oikeassa yläkulmassa, eikö vain? Zalandossa, Verkkokauppa.comissa, Gigantissa jne.
Kysymys kuuluu, että jos päätät omassa verkkokaupassasi pistää ostoskori-ikonin vasempaan alakulmaan, niin osaavatko vierailijasi etsiä sitä sieltä?
Väitän, että ei ainakaan kovin nopeasti ja se vaikuttaa taatusti verkkokauppasi konversiokykyyn.
Sanoin aikaisemmin, että varsinkin pienehköllä kävijämäärällä kannattaa (ja pitää) A/B-testata isoilla muutoksilla. Se ei kuitenkaan aina tarkoita isoja visuaalisia ja toiminnallisia muutoksia vaan ne voivat olla myöskin hyvin psykologisia niin kuin edellä mainittu ostoskori-esimerkki.
Milloin A/B-testi kannattaa pysäyttää?
A/B-testi kannattaa pysäyttää neljän ehdon täyttyessä:
1. Tilastollinen todennäköisyys on vähintään 95%
99% on toki vielä parempi, joka jättää vain prosentin mahdollisuuden väärälle päätökselle. Kyseisen todennäköisyyden saavuttaminen voi vain lisätä testiaikaa viikon tai kaksi ja useimmat meistä ottavat mielummin viiden prosentin riskin kuin lisäävät testin odotusaikaa.
2. Kävijäotos (sample size) on määritetty etukäteen ja se on täyttynyt
Kun kävijäotos on määritetty etukäteen, niin sen avulla tiedetään, kuinka paljon kävijöitä kuhunkin variaatioon tarvitaan ja milloin testin voi pysäyttää. Lue lisää aiheesta täältä.
3. Testi on ollut käynnissä vähintään kaksi viikkoa
Onko verkkosivustollasi paljon kävijöitä ja olet ajanut A/B-testejä läpi vuorokaudessa? Suosittelemme pitämään testin käynnissä vähintään kaksi viikkoa, jotta se sisältää kaikki ulkoiset tekijät, kuten uudet kampanjalähdöt, keskenään erilaiset viikonpäivät, liikenteen lähteiden vaihtelut ja sellaiset kävijät, jotka pohtivat ostamista ensimmäisenä päivänä ja palaavat tekemään ostoksen viikon päästä.
Monet CRO-asiantuntijat suosittelevat vähimmäisajaksi kolmea viikkoa ja se kannattaakin ajatella oman liiketoiminnan kautta, millainen ostosykli on. Jos ostosykli on nopea (kuten vaikka vaatebisneksessä), niin testiaika voi olla kaksi viikkoa. Jos kyseessä on esimerkiksi B2B-palvelu, jonka hankkimista puntaroidaan pidempään, niin myös testiajan on hyvä olla pidempi. Lue lisää aiheesta täältä.
4. Kumpikin variaatio on tuottanut vähintään 250 konversiota
Kyseessä on konversio-optimoinnillinen nyrkkisääntö, että noin 250 konversiota per variaatio riittää tulosten analysointiin tarvittavalla tasolla. Mitä enemmän kävijöitä ja konversioita, niin sitä useammalla tasolla pystyt tuloksia analysoimaan, kuten esimerkiksi kanavatasolla ja laitetasolla.
A/B-testauksessa erinomainen suunnittelu maksaa itsensä takaisin
Tämän artikkelin tarkoitus on ollut laajentaa ymmärrystäsi siitä, että minkälaisia asioita A/B-testauksessa on hyvä ottaa huomioon – teet sitä sitten itse tai olet palkannut konversio-optimoijan tekemään sitä.
On myös tärkeää muistaa, että osa A/B-testeistä ”epäonnistuu” eli hypoteesi ei toiminut ja haluttua positiivista vaikutusta ei syntynyt. Kirjoitin epäonnistumisen lainausmerkkeihin, koska vaikka A/B-testin tulokset pitäisivät naaman peruslukemilla, niin hyvistä A/B-testeistä oppii aina, joka auttaa seuraavassa testauksessa. Negatiivinen tai neutraali tulos pitää aina analysoida, että miksi hypoteesi ei mahdollisesti toiminut ja kirjata ylös myös oman tiimin nähtäville.
Konversio-optimointi ei ole kuitenkaan pelkkää A/B-testausta vaan se on paljon muutakin. Kirjoitan aiheesta blogiartikkelin piakkoin, joten kannattaa pysyä kuulolla.
Lisää lukemista A/B-testauksesta
Conversionistan tapa selvittää, että milloin A/B-testausta on mahdollista tehdä
