Contrôlez la façon dont les robots de Google parcourent votre site

Google propose depuis la semaine dernière une nouvelle option dans ses indispensables Webmaster Tools, avec la possibilité de régler la vitesse d’exploration de votre site (le “crawl”) par les robots de Google. Dans la rubrique “Settings” (dernièrement réaménagée), l’option “Crawl rate” permet de définir des paramètres personnalisés, en indiquant le nombre de requêtes par seconde et le nombre de secondes entre les requêtes effectuées sur votre site par Googlebot, le spider du moteur de recherche.

En règle générale, Google fera bien son travail et vous n’aurez pas à vouss soucier de cette donnée. Mais il se peut que vous ayiez, à un moment ou à un autre, un souci sur votre serveur et vous pourrez à ce moment-là, dire à Googlebot de “freiner ses hardeurs” pour vous libérer de la bande passante… La recommandation reste cependant de ne pas toucher à ce paramètre par défaut… A noter également que le moteur Live Search avait introduit une fonctionnalité assez proche dans son interface pour webmaster au mois d’avril dernier.

(Source : Abondance)