Crawler outil SEO
Écrit par B. Bathelot, le 22/03/2015Glossaires : Référencement naturel / SEO
Les crawlers outils du SEO sont des robots d'exploration des contenus qui sont utilisés pour détecter des erreurs ou anomalies pouvant pénaliser l'indexation d'un site web.
Un crawler d'optimisation SEO permet par exemple de détecter les liens brisés ou de repérer d'éventuels contenus dupliqués.
Un crawler d'optimisation peut également permettre de recenser les URL et contenus présents au sein d'un site web et de les comparer aux contenus indexés par le crawler Googlebot à des fins d'optimisation du crawl.
Une présentation intéressante sur les crawlers utilisés en SEO :
Proposer une modification