Crawler

Écrit par B. Bathelot, modifié le 17/10/2017
Glossaires : Z'autres glossaires Inclassables

---

Un crawler ou spider est un robot logiciel en charge de l'exploration des sites et contenus Internet. Les crawlers indexent et analysent les contenus explorés en partant des résultats d'un moteur (le plus souvent Google), à partir d'une liste, par soumission ou en suivant tous les liens rencontrés.
Les contenus et l'étendue de l'exploration varient selon la nature des crawlers et leurs objectifs.

Il existe de nombreux types de crawler utilisés dans le domaine du marketing Internet.

- les crawlers des moteurs de recherche
- les crawlers outils utilisés pour l'optimisation des contenus
- les crawlers utilisés pour les pratiques de black hat SEO
- les crawlers destinés à la veille prix
- ....

Proposer une modification