Mikä on IndexNow ja mitä hyötyä siitä on hakukoneoptimoinnissa?

Artikkelin SEO-sanaston selitykset: 

• Crawlaus tarkoittaa hakukonebotin käyntiä sivustollasi, jonka tarkoitus on löytää sivuston sisältö.  Botti arvioi sisällön hyödyllisyyden ja valitsee hyödylliset sisällöt indeksointiin.
• Indeksoitumisessa sivun tiedot ovat talletettuna hakukoneen indeksissä, josta se voi tarvittaessa tarjoilla niitä hakukoneen käyttäjille. Indeksoituminen ei kuitenkaan suoraan tarkoita sitä, että sivua näytettäisiin hakukoneessa.
• Pingaus tarkoittaa kutsun lähettämisestä hakukoneelle käydä crawlaamassa tietyt sivut tai yksittäinen sivu.
• Sitemap eli sivustokartta on tiedosto, josta löytyvät kaikki sivuston sivut, jotka sivuston ylläpitäjä haluaa indeksoituvan.

Crawlauksen nykytila

Hakukoneiden sivuston crawlaus on usein todella tehotonta. Cloudflaren tutkimuksen mukaan 45% internetin liikenteestä on bottiliikennettä ja 5% on hakukoneboteilta ja muilta tämäntyylisiltä boteilta. Cloudfaren CDN:ää käyttää arviolta noin 18% internetin sivustoista, joten otos antaa hyvän otoksen tilanteesta.

Tutkimuksessa kävi ilmi, että 53% hakukonebottien liikenteestä kohdistuu sivuille, joihin ei ole tehty mitään muutoksia. Näin ollen yli puolet bottien sivukäynneistä ovat täysin turhia sekä botille että sivuston omistajalle. Voidaan siis laskea, että karkeasti 2,5% kaikesta internetissä olevasta liikenteestä on turhaa. Tämä saattaa vaikuttaa pieneltä luvulta. Jos kuitenkin otetaan huomioon internetliikenteen laajuus ja se, että pelkästään Google-hakuja tehdään globaalisti arviolta 56 000 sekunnissa, on kaikkien turhien bottikäyntien määrä merkittävä sähkön käyttäjä, joka kuormittaa ympäristöä.

Kuvan lähde Pixabay.

Bottien yleisimmät tavat crawlata ovat sisäisten ja ulkoisten linkkien kautta sekä käydä läpi sivulistaa sitemapeista. Yleisimpien tapojen crawlausta voi avustaa käyttämällä esimerkiksi <lastmod> tai <priority> -koodeja sitemapissa. Lastmodilla voi kertoa milloin sivua on viimeksi muokattu ja priorityllä osoittaa sen tärkeyttä crawliin.

Nämä kaksi ovat hyviä keinoja auttaa hakukonetta keskittymään tärkeisiin tai viimeksi muokattuihin sisältöihin, jolloin mahdollisia turhia käyntejä vähennetään. Oikein tehdyt lastmod- ja priority-koodit ovat kuitenkin koko internetin laajuudella harvinaisia, joten bottien on usein tarve käydä tarkistamassa onko sivustolla tapahtunut muutoksia.

IndexNow voisi poistaa turhaa koko internetin crawlausta

On haastavaa arvioida, kuinka paljon IndexNow tällä hetkellä tai laajemmin tulevaisuudessa vähentäisi turhien bottikäyntien kuormaa, mutta tämä ja samankaltaiset teknologiat saattavat olla tie kohti reaaliaikaisempaa ja tehokkaampaa internettiä – ympäristöystävällisyyttä unohtamatta. Mitä enemmän sivustoja ja hakukoneita saadaan mukaan sitä isompia ovat vaikutukset.

Nyt 2021 syksyllä julkaistussa teknologiassa on aikaisen vaiheen kokeilijoiden aika, mutta  isot yhtiöt kuten eBay ja suositut SEO-työkalut kuten Oncrawl ovat jo lähteneet mukaan. Teknologia on kuitenkin jo vapaasti käytettävissä, joten jos haluat olla mukana ensimmäisten joukossa hyötymässä siitä saat sillä pienoista kilpailuetua.

IndexNow-teknologia pähkinänkuoressa

IndexNow-teknologialla sivuston hallinnoijat voivat lähettää tietoa hakukoneille sivustolla tapahtuneista muutoksista heti muutosten jälkeen ja pyytää tiettyjen URLien crawlia. Yleisimpiä muutoksia ovat uudet sivut tai sivujen sisällön päivittäminen.

Ilman hakukoneen pingausta muutoksista, niiden huomaaminen ja uuden sisällön indeksoituminen, eli hakukoneen tietoihin päätyminen saattaa kestää jopa päiviä tai viikkoja. Nimensä mukaisesti “IndexNow” pyrkii tekemään indeksoitumisesta mahdollisimman reaaliaikaista.

Hakukoneilla on ns. crawlausbudjetti sivustollesi. Käyttämällä IndexNow:ta voit kertoa hakukoneille, mihin muuttuneen sisällön URLeihin haluaisit hakukoneiden bottien erityisesti käyttävän crawlausbudjettia. Tällä tavoin saat uudet sivut ja sivuille tehdyt muutokset nopeammin ja varmemmin crawlattua ja hakukoneen indeksiin.

Voit lähettää protokollalla joko yhden tai useamman URLin kerrallaan. Tarvitset tähän maksuttoman API-avaimen ja koodin tai esimerkiksi WordPress-lisäosan. WordPress-sivustoille teknologian käyttöönotto nykymuodossaan onkin todella helppoa. Tarkempaa tietoa käyttöönotosta löydät artikkelin lopusta.

Mitkä hakukoneet tukevat IndexNowta?

IndexNow:ta tukevat tunnetuimmista hakukoneista virallisesti tällä hetkellä vain Bing ja Yandex. Google on kertonut marraskuussa 2021 kokeilevansa IndexNow-protokollaa, koska se voi vähentää crawlauksen ympäristölle tuottamaa haittaa. Google on siis ainakin ilmaissut kiinnostusta teknologiaan, vaikkei ole sitä vielä täysimääräisesti lähtenyt tukemaan.

Googlen edustaja kertoi kuitenkin vuoden 2021 lopulla, ettei hän olettaisi Googlen ottavan teknologiaa lähiaikoina käyttöön.

I wouldn’t assume from a limited test that this will launch broadly anytime soon. There are lots of existing ways to inform Google of new & updated content — I’d focus on those. (And yes, we do get a ton of spam through them too)

— 🐐 John 🐐 (@JohnMu) November 10, 2021

Pääsyy tähän saattaisi olla Googlen omat, jo olemassaolevat työkalut indeksoinnin tehostamiseen. Googlella on lisäksi oma reaaliaikaisempi Indexing API, mutta se on tarkoitettu lyhytaikaisiin sisältöihin. Lyhytaikaista sisältöä ovat esim. työpaikkailmoituksiin tai livestream videoihin keskittyneet sivut.

Voi olla, että avainsasemassa tekniikan laajempaan käyttöönottoon olisi se että Google ja muut hakukoneet liittyisivät mukaan, jolloin sivustot hyötyisivät teknologiasta laajemmin.

Jos tahdot ilmoittaa Googlelle uusista sivuista tai sivuilla tapahtuneista muutoksista mahdollisimman nopeasti, tällä hetkellä parhaat tavat ovat yksittäisen URL:in indeksointipyyntö Google Search Consolesta tai lähettää sitemapin pingaus Googlelle. 

Sivuston pingauksen saat tehtyä seuraavan linkin kautta muuttamalla esimerkkiosoitteen tilalle oman sitemappisi osoitteen: https://www.google.com/ping?sitemap=https://esimerkkiosoite.fi/xmlsitemap/

Mitä käytännön hyötyä teknologian käyttöönotosta voisi odottaa?

Leijonanosa orgaanisesta liikenteestä Suomessa tulee verkkosivustoille Googlesta. Viimeisimmän Statcounterin arvion mukaan osuus on jopa 94%. Ei siis ihme, että hakukoneoptimoinnin yhteydessä puhutaan alinomaan Googlesta! Kuitenkin etenkin isompien sivustojen on hyvä huomioida, että suhteellisen pienet prosentit muiden hakukoneiden käyttäjistä kumuloituvat ajan myötä isoiksi kävijämääriksi. Lisäksi ainakin tällä hetkellä Indexnow:n käyttöönotto ei ole suuren työn takana, jolloin pienellä panostuksella voidaan saada merkittävää pitkän aikavälin hyötyä.

Parempi näkyvyys muissa hakukoneissa

Oman kokemukseni mukaan hakukoneoptimointia tekevillä yrityksillä on poikkeuksetta käytössään Google Search Console, mutta Bingin Webmaster Tool on harvinainen. Sivustoja optimoidaan siis pitkälti Google mielessä pitäen.

Oman havaintoni mukaan hakukoneoptimoinnin hyötyjä tuntevillekaan yrityksille ei ole itsestäänselvää, että robots.txt:iin olisi hyvä lisätä sitemap -rivi, jossa kerrotaan sivustolla vierailevalle botille, mistä koko sivuston kattava sitemap löytyy.

Kun sivusto ei kerro robots.txt:ssä missä sitemap on ja sivuston ylläpitäjä on laittanut sen ainoastaan Google Search Consoleen, muut hakukoneet ovat täysin sisäisten ja ulkoisten linkkien varassa löytää sivuston sivut. Lisäksi orposivut, joihin ei osoita ollenkaan sisäisiä linkkejä, ovat suurella todennäköisyydellä näkymättömiä muille hakukoneille.

Jos dataa lähdetään jatkojalostamaan, saatetaan myös löytää kustannustehokkaampia ratkaisuita saada konversioita. Siinä missä mainonnan ROAS on helpompi laskea ja usein orgaanisen näkyvyyden tuomat konversiot epävarmempia ennustaa, voidaan kuitenkin saada näkyvyyttä missä hauissa mainokset tuovat vähän katetta ja orgaaninen sijoitus on korkea. Tällä tiedolla voidaan lähteä testaamaan, saadaanko budjettien uudelleenallokoinnilla muualta tuottavampia konversioita ja orgaanisella näkyvyydellä kotiutettua näistä hakutermeistä konversioita.

Kuvan lähde Unsplash.

Pelkkien linkkien varassa olevat hakukonebotit eivät saa myöskään tehokkaasti tietoa siitä, milloin sivuja on viimeksi muokattu ja kuinka tärkeitä ne sivuston ylläpitäjän mukaan ovat. Lisäksi, jos sivusto on todella iso, saattaa olla ettei kaikkia sivuja löydetä pitkään aikaan tai mahdollisesti koskaan.

Vaikka IndexNow-teknologian käyttöönottoon ei haluaisikaan panostaa, kannattaa silti tarkistaa löytyykö oman sivuston robots.txt tiedostosta ohjaus sitemappiin tai sitemap-indeksiin.

Robots.txt:n löydät osoitteesta https://esimerkkiosoite.fi/robots.txt korvaamalla tilalle oman sivustosi osoitteen. Sitemapin tekstirivi näyttää usein seuraavalta: Sitemap: https://www.esimerkkiosoite.fi/sitemap.xml

Enemmän liikennettä muista hakukoneista

Lähde: StatCounter

Kun tarkastellaan IndexNow:ta tukevien hakukoneiden markkinaosuutta Suomessa se on noin 3,5%. Lisäksi nopeasti suosiotaan kasvattavalla Duckduckgo:lla on nyt 1% osuus Suomessa. Sitä, tukeeko Duckduckgo IndexNowta tulevaisuudessa ei vielä tiedetä, mutta koska hakukone käyttää Bingiä yhtenä lähteenään voidaan olettaa, että Index now vaikuttaa välillisesti myös Duckduckgo:hon.

Kuvan lähde Duckduckgo.

Jos sivuston orgaanisen liikenteen määrä on esimerkiksi 100 000 kuukaudessa, 3% edustaa 3 000 kuukausittaista ja 36 000 vuosittaista vierailua. Pienistä puroista kasvaa iso joukko käyntejä, joilla on potentiaalia kasvattaa brändin näkyvyyttä, tuoda konversioita ja palvella nykyasiakkaita.

Pienen sivuston sisältö indeksiin

Siinä missä pienet sivustot eivät määrällisesti hyödy muista hakukoneista, ratkaisee IndexNow yhden sivuston pienuuteen liittyvän ongelman.

Siinä missä hakukoneet käyvät tiheään isoilla sivustoilla, saattavat pienet, vähän näkyvyyttä saavat sivustot kärsiä bottien käynnin harvuudesta ja uuden sisällön indeksointi voi viedä paljonkin aikaa. Jos sivuilla julkaistava sisältö on ajankohtaista asiaa, joka vanhenee ajan kuluessa, saattaa nopea indeksointi olla vieläkin tärkeämpää.

Kuvan lähde Pexels.

Pienien sivustojen kannattaakin käyttää esimerkiksi Google Search Consolen tai Bing Webmaster toolsin “pyydä indeksointia yksittäiselle URLille” -toimintoa. Tosin ainakaan Google Search Consolessa tämä ei välttämättä tarkoita nopeaa crawlausta vaan voi viedä päiviä tai viikkoja.

Miten pääset alkuun IndexNown käyttöönotossa?

WordPress-lisäosan käyttöönotto onnistuu oletettavasti kokemattomammaltakin käyttäjältä, mutta muilla tavoin rakennetuilla sivustoilla, kannattaa kysyä kehittäjää toteuttamaan ratkaisu. Vähimmällä vaivalla pääsevätkin WordPressin käyttäjät.

IndexNown käyttöönotto WordPress-sivustoilla

1. Käy hakemassa virallinen WordPress lisäosa ja asenna se. Osa WordPressin muista hakukoneoptimointia tekevistä lisäosista tukee jo IndexNow:ta, joten tarkista tukeeko oma lisäosasi sitä. Näin vältyt turhilta lisäosilta.
2. Avaa lisäosa ja paina “Let’s get started!”
3. Jos haluat voit poistaa automaattisen indeksointipyynnön muuttamalla “Automate URL submission” kohdasta “Disabled” ja näin käyttää vain manuaalista pyyntöä.

IndexNown käyttöönotto muilla sivustoilla

1. Käy hakemassa ilmainen API avain.
2. Laita API-avain sivuston juureen .txt tiedostona. 
3. Lue ohjeesta tarkemmat askeleet kuinka voit pingata yksittäisen tai useamman URLin.
4. Jos haluat rakenna järjestelmä, jossa poistetut, uudet tai muokatut sivut pingataan IndexNow API:lla automaattisesti.

Vinkkejä käyttöön

• Voit lähettää enintään 10 000 URLia kerrallaan, hakukone voi käydä läpi osan tai kaikki URLit.
• Vanhoja URLeja ei kannata lähettää, jos niihin ei ole tehty lähiaikoina muutoksia.
• Riittää kun pingaat yhtä hakukonetta esim. Bingiä. Hakukoneet jakavat tiedon keskenään, jolloin kaikki IndexNow:hin osallistuvat saavat saman tiedon.
• Samaa URLia ei kannata lähettää useaan kertaan päivässä ja suositellaan pitämään ainakin 10 minuutin väli indeksointipyyntöjen välissä.
• Lisää vinkkejä löydät IndexNown FAQ:sta.

Yhteenveto IndexNowsta

• IndexNow on 2021 syksyllä julkaistu teknologia.
• Voi olla, että avainsasemassa tekniikan laajempaan käyttöönottoon olisi se että Google ja muut hakukoneet liittyisivät mukaan, jolloin sivustot hyötyisivät teknologiasta laajemmin.
• Google on testannut teknologiaa, muttei oleta että se otetaan ainakaan lähiaikoina laajasti käyttöön.
• Useita isoja sivustoja ja suosittuja työkaluja on ottanut teknologian käyttöön.
• IndexNowin on tarkoitus auttaa tärkeiden sivujen sisältömuutosten indeksoitumista.
• IndexNow voi vaikuttaa positiivisesti turhaan bottiliikenteeseen ja keventää internetin ympäristölle tuomaa kuormaa.
• Yhden hakukoneen pingaus tai apin pingaus lähettää tiedon sivuista kaikille hakukoneille kerralla.