SEO Wayback Machine
Comment utiliser les versions archivées de votre site web pour le dépannage SEO
26 juillet 2019
PageRank
3 mauvaises perceptions à propos du PageRank
9 août 2019
Afficher tout

Les URL non autorisées n’affectent pas le crawl budget

Crawl budget

Google ne passe qu’un temps limité sur votre site : c’est le crawl budget.

Qu’est-ce que le crawl budget ?

Le crawl budget désigne le budget d’exploration demandé par Googlebot, le robot de Google, pour analyser votre site web. Il délimite le nombre de pages que celui-ci va crawler selon la taille de votre site et la vitesse d’exploration. Le crawl budget est calculé en termes de limite de temps alloué à l’analyse d’un site. C’est à partir de cette technique que votre site web pourra être classé sur Google.

Les URL non autorisées, ou plus communément appelées «no index», sont des pages sur le site web d`une entreprise qui ne seront pas crawlées par les robots de Google. Ce code spécifique peut être inscrit dans le robot.txt pour bloquer un site en entier ou pour bloquer des URL spécifiques lors du crawl. De ce fait, le temps du budget crawl est maximisé en passant plus de temps sur d’autres pages plus intéressantes pour le moteur de recherche.

Peux-t-on sauver du temps de crawl budget ?

Plusieurs entreprises pensent encore aujourd’hui que le fait d’ajouter le code «no index» dans le robot.txt à certaines pages de leur site web leur permet de sauver du temps de crawl budget et que cela est bénéfique pour le référencement. Elles croient que les robots peuvent passer par-dessus certaines pages jugées inutiles pour l’indexation du site afin de faire sauver du temps aux robots et pour maximiser l’efficacité du crawl budget.

Une mise à jour récente montre que les URL non autorisées n’affectent plus le crawl budget. Cela veut dire que les robots peuvent analyser les URL non autorisées d’un site web sans que cela ne nuise à l’efficacité temporelle du crawl budget et par le fait même du référencement. En fait, votre site ne sera pas pénalisé s’il comporte des pages «no index» et qu’elles sont analysées par Google pour son classement dans le moteur de recherche. Google effectue régulièrement l’analyse des sites web grâce à des robots nommés Googlebot. Lorsque ces derniers entrent sur vos pages, ils analysent en détail leur performance pour indexer le site web.

Par contre, d’autres facteurs peuvent effectivement nuire au crawl budget, comme des pages d’erreur, du contenu de faible qualité ou du contenu dupliqué qui se retrouve sur un site web. Il est impératif de bien vérifier ces problèmes techniques pour éviter que cela nuise au référencement.

Merci de partager à vos contactsShare on Facebook
Facebook
Tweet about this on Twitter
Twitter
Share on LinkedIn
Linkedin
Share on Reddit
Reddit

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Restez au courant des dernières nouvelles SEO !

INSCRIVEZ-VOUS À NOTRE INFOLETTRE

En vous inscrivant, vous courez la chance de gagner une consultation gratuite de 30 minutes (1 tirage par mois).

S'inscrire