Menu
Crawler hakurobotti on hakukoneiden indeksointia tekevä ohjelma, joka selaa World Wide Webiä järjestelmällisesti ja automatisoidusti.
Indeksointirobotti lukee verkkosivuston koodin ja tallentaa siitä tietoja hakukoneen tietokantaan. Se mitä tietoja sivustosta saadaan talteen riippuu sivuston rakenteesta, koosta ja hakukoneoptimoinnin laadusta.
Tunnetuin web crawler on Googlen ikioma Googlebot. Sen tehtävä on indeksoida kaikki indeksoinnin sallineet verkkosivustot.
Etusivun lisäksi botti klikkailee sivulla olevia linkkejä ja menee lukemaan niidenkin sisällöt. Mitä enemmän sivustolla on sisäisiä linkkejä ja mitä paremmin aiheperusteisesti ankkuritekstit on kirjoitettu, sitä selkeämmän kuvan Googlebot sivun sisällöstä saa ja osaa sitten näyttää kotisivun siihen sopivissa hakukyselyissä.
Kotisivulla oleva /robots.txt tiedostolla voidaan estää crawleria selaamasta sivustoa osittain tai kokonaan.
Muita tunnettuja botteja ovat Teoma, Scooter, Slurp, MSMbot ja Heritix
Jatkamalla sivuston selaamista hyväksyt evästekäytännön Lue lisää
The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.
