Crawler - indeksointirobotti
Tunnetaan myös: spider, bot, botti, hakurobotti, Google bot, web crawler
Crawler hakurobotti on hakukoneiden indeksointia tekevä ohjelma, joka selaa World Wide Webiä järjestelmällisesti ja automatisoidusti.
Indeksointirobotti lukee verkkosivuston koodin ja tallentaa siitä tietoja hakukoneen tietokantaan. Se mitä tietoja sivustosta saadaan talteen riippuu sivuston rakenteesta, koosta ja hakukoneoptimoinnin laadusta.
Tunnetuin web crawler on Googlen ikioma Googlebot. Sen tehtävä on indeksoida kaikki indeksoinnin sallineet verkkosivustot.
Etusivun lisäksi botti klikkailee sivulla olevia linkkejä ja menee lukemaan niidenkin sisällöt. Mitä enemmän sivustolla on sisäisiä linkkejä ja mitä paremmin aiheperusteisesti ankkuritekstit on kirjoitettu, sitä selkeämmän kuvan Googlebot sivun sisällöstä saa ja osaa sitten näyttää kotisivun siihen sopivissa hakukyselyissä.
Kotisivulla oleva /robots.txt tiedostolla voidaan estää crawleria selaamasta sivustoa osittain tai kokonaan.
Muita tunnettuja botteja ovat Teoma, Scooter, Slurp, MSMbot ja Heritix
