A keresőrobot (angolul: web crawler, spider, bot) egy olyan speciális szoftver, amit arra fejlesztettek, hogy automatikusan feltérképezze, bejárja és indexelje az interneten (vagy egy zárt hálózaton) található weboldalakat. Ezek a robotok a keresőmotorok (pl. Google, Bing, Yandex) kulcsrészét alkotják: információkat gyűjtenek az oldalakról, amelyeket aztán egy kereshető adatbázisba rendeznek, hogy a felhasználó gyorsan megtalálja, amit keres.
Tartalom
A keresőrobotok működése alapvetően abból áll, hogy:
- Elkezdik az oldalak feltérképezését egy induló webcímtől (URL-től).
- Letöltik az oldalak tartalmát.
- Keresik az oldalakon található további linkeket, majd követik azokat is.
- Folyamatosan frissítik az adatbázist az új vagy módosult tartalmakkal.
Mire használják a keresőrobotokat?
- Keresőmotorok indexelése – Google, Bing, stb. alapvető részei.
- Weboldal ellenőrzése – pl. linkhibák, SEO-elemzés.
- Tartalomgyűjtés – ár, hírek, adatbázis-építés különböző témákra.
- Versenytárs elemzése – automatizált információgyűjtés.
Példák keresőrobotokra:
- Googlebot (a Google keresőrobotja)
- Bingbot (a Bing keresőrobotja)
- YandexBot (az orosz Yandex robotja)
- Baiduspider (a kínai Baidu keresőrobotja)
- DuckDuckBot (a DuckDuckGo keresőrobotja)
- Sogou Spider
- AhrefsBot (SEO eszköz keresőrobotja)
- SemrushBot
Szinonimák
- Webrobot
- Webcrawler
- Spider
- Bot
- Indexelő robot
Összességében tehát a keresőrobot egy “láthatatlan” internetes segítőtárs, aki napi szinten járja a webet, hogy a felhasználók pillanatok alatt megtalálják bármilyen információt a keresőmotorokon keresztül.
