Les moteurs de recherche n’ont qu’une quantité limitée de temps et d’énergie à consacrer à l’exploration de votre site Web. S’ils perdent ce temps sur des URL en double, de faible valeur ou générées automatiquement, votre contenu important risque même de ne jamais être découvert, et encore moins indexé.
Ce problème, connu sous le nom de « crawl bloat », peut discrètement freiner la visibilité, le trafic et les performances de votre site.
Dans cet article, nous expliquerons ce qu’est le gonflement du crawl, en quoi il diffère du gonflement de l’index et, plus important encore, ce que vous pouvez faire pour garder votre site propre et votre budget d’exploration travaillant pour vous.
Besoin d’aide pour votre référencement technique ? Greenlane est extrêmement expérimenté dans la résolution des problèmes techniques qui nuisent à votre classement et à votre visibilité.
Qu’est-ce que le ballonnement du crawl ?
Le gonflement de l’exploration se produit lorsqu’il y a tellement d’URL que Google doit explorer votre site ; il n’a tout simplement pas le budget d’exploration pour en explorer de nouveaux.
Ainsi, lorsque de nouvelles pages sont créées dynamiquement, que la recherche sur site crée de nouvelles URL ou que les URL de filtrage ne sont pas contrôlées, Google est probable je vais trouver et explorer tous ces milliers d’URL qui sont non seulement inutiles, mais aussi potentiellement nuisibles au contenu vital de votre site !
Ballonnement d’exploration ou ballonnement d’index ?
Bien que le ballonnement du crawl contribue directement au ballonnement de l’index, ils sont quelque peu différents. La différence entre le gonflement de l’index et le gonflement de l’exploration est que le gonflement de l’index se produit lorsque plusieurs pages de mauvaise qualité, inutiles ou même accidentelles sont indexées par Google, et le gonflement de l’exploration se produit lorsque ces mêmes types d’URL existent sur votre site et sont systématiquement explorés par Google, même si elles ne sont pas indexées.
Le gonflement de l’index provoque des problèmes sur le SERP et même la cannibalisation, mais le gonflement de l’exploration peut empêcher l’indexation de votre nouveau contenu utile.. De nouvelles pages sont créées, mais Google est déjà occupé à explorer les URL existantes prioritaires.
Comment pouvons-nous éviter les ballonnements rampants ?
Il existe un moyen infaillible de maintenir votre budget d’exploration optimisé et dégagé, et il est très basique. Ayez un site Web propre. Évitez de créer des URL inutiles. Cela peut être difficile, en particulier pour les sites dynamiques (comme le commerce électronique). Souvent, le filtrage ou la recherche de produits crée de nouvelles variations d’URL sans que personne ne s’en rende compte, vous devez donc être vigilant.
Créez des pages de destination indexables pour vos filtres les plus rentables et créez des liens vers celles-ci. Pour le reste, utilisez le filtrage AJAX/JS qui ne crée pas de nouvelles URL explorables. Ou conservez les paramètres mais consolidez-les avec rel=canonical ou noindex. Ces modèles éliminent les URL en double et de faible valeur. Vérifiez également les variantes de tri/commande, les fourchettes de prix, les couleurs, les paramètres de suivi et les identifiants de session.
Comment vérifier les ballonnements du Crawl ?
Vous pouvez utiliser Google Search Console (GSC) pour vérifier si le budget d’exploration de votre site est obstrué.
Accédez au « Rapport sur les pages », puis examinez les « Pages non indexées ». Il vous montrera combien d’URL existent sur le site qui ne sont pas indexées et les raisons pour lesquelles elles ne sont pas indexées.
Sur la photo ci-dessus, vous pouvez voir qu’il y a plus de 10 millions de pages qui ne provoquent pas de gonflement de l’index car elles portent une balise « noindex ». Cependant, ils provoquent un gonflement de l’exploration puisque ces 10 millions d’URL sont toujours explorées régulièrement par Google !
Comment optimiser le budget d’exploration
Limiter la création de ces URL est déjà assez difficile et vous aurez probablement besoin d’une personne très compétente en développement Web. Aider les moteurs de recherche à découvrir efficacement et à catégoriser avec précision les pages en représente une grande partie et nécessite souvent un référencement technique approfondi. compétences.
En plus de limiter la création d’URL, vous aurez besoin au moins de ces quelques éléments :
- Plan du site solide et à jour
- Structure de liaison interne organisée
- Navigation structurée et fil d’Ariane
- Schéma précis et pertinent
- Liens externes
- Redirections simples
Vous pensez que Crawl Bloat retient votre site ?
Vous pourriez avoir raison ! Si vous avez remarqué une indexation lente, une visibilité organique en baisse ou un flot d’URL étranges dans Google Search Console, la surcharge d’exploration peut en être la cause. Si rien n’est fait, cela peut empêcher votre meilleur contenu d’atteindre les résultats de recherche, ce qui nuira à la fois au trafic et aux conversions.
C’est là qu’intervient Greenlane. Notre équipe est spécialisée dans le référencement technique, du diagnostic des problèmes d’exploration et d’indexation à l’élaboration de stratégies évolutives qui maintiennent votre site simple, explorable et optimisé pour la croissance. Si vous recherchez l’avis d’un expert, vous êtes au bon endroit !
Prêt à tirer le meilleur parti de votre budget de crawl ? Contactez-nous dès aujourd’hui et éliminons l’encombrement afin que votre site puisse fonctionner au mieux.