Tunnetaan myös nimillä: spider, bot, botti, hakurobotti, Google bot, web crawler, web spider, web crawler, internet bot, spiderbot
Mikä on crawler eli indeksointirobotti?
Crawler hakurobotti on hakukoneiden indeksointia tekevä ohjelma, joka selaa World Wide Webiä järjestelmällisesti ja automatisoidusti.
Indeksointirobotti lukee verkkosivuston koodin ja tallentaa siitä tietoja hakukoneen tietokantaan. Se mitä tietoja sivustosta saadaan talteen riippuu sivuston rakenteesta, koosta ja hakukoneoptimoinnin laadusta.
Tunnetuin web crawler on Googlen ikioma Googlebot. Sen tehtävä on indeksoida kaikki indeksoinnin sallineet verkkosivustot.
Etusivun lisäksi botti klikkailee sivulla olevia linkkejä ja menee lukemaan niidenkin sisällöt. Mitä enemmän sivustolla on sisäisiä linkkejä ja mitä paremmin aiheperusteisesti ankkuritekstit on kirjoitettu, sitä selkeämmän kuvan Googlebot sivun sisällöstä saa ja osaa sitten näyttää kotisivun siihen sopivissa hakukyselyissä. Teknisen hakukoneoptimoinnin tärkeimpiä tehtäviä on edesauttaa sivuston indeksoituvuutta.
Kotisivulla oleva /robots.txt tiedostolla voidaan estää crawleria selaamasta sivustoa osittain tai kokonaan.
Muita tunnettuja botteja ovat Teoma, Scooter, Slurp, MSMbot ja Heritix
