SEO How-to, Partie 9: Diagnostiquer les problèmes du robot d’exploration

0
130

Les moteurs de recherche doivent explorer et indexer votre site avant de pouvoir se classer dans la recherche organique. Ainsi optimiser votre contenu est inutile si les moteurs de recherche ne peuvent y accéder.

Ceci est le neuvième volet de ma série «SEO How-to». Les versements précédents sont:

Dans la «Partie 2», j’ai expliqué comment les moteurs de recherche explorent et indexent le contenu. Tout ce qui limite les pages explorables peut nuire à vos performances de recherche organique.

Blocage accidentel

Il s’agit du pire des scénarios dans le domaine de l’optimisation des moteurs de recherche: votre entreprise a repensé son site et les performances organiques se bloquent soudainement. Vos analyses Web indiquent que le trafic de la page d’accueil est relativement stable. Mais le trafic des pages produit est plus faible et vos nouvelles pages de grille de navigation sont introuvables sur Google.

Qu’est-il arrivé? Vous rencontrez probablement un problème d’exploration ou d’indexation.

Les robots ont parcouru un long chemin. Les principaux moteurs de recherche affirment que leurs robots peuvent explorer JavaScript. C’est vrai dans une certaine mesure. Mais la façon dont les développeurs codent chaque morceau de code JavaScript détermine si les moteurs de recherche peuvent accéder ou comprendre le contenu.

Votre navigateur est beaucoup plus indulgent que les robots. Le contenu qui s’affiche à l’écran et fonctionne correctement dans votre navigateur peut ne pas être explorable pour les robots. Les exemples incluent l’incapacité des robots à reconnaître les liens internes (rendant orphelines des sections entières) ou à rendre correctement le contenu de la page.

Les robots les plus avancés interprètent une page comme les humains la voient dans des navigateurs mis à jour et renvoient les informations au moteur de recherche pour rendre les différents états pour du contenu et des liens supplémentaires.

Mais cela repose sur le robot de recherche le plus avancé (i) explorant vos pages, (ii) identifiant et déclenchant des éléments tels que le codage de lien non standard dans la navigation, et (iii) évaluant la fonction et la signification d’une page.

L’exploration traditionnelle repose sur du texte HTML et des liens pour déterminer instantanément la pertinence et l’autorité. Mais l’exploration avancée de JavaScript, par exemple, peut prendre des semaines, voire pas du tout.

En bref, investissez du temps pour identifier et résoudre les bloqueurs d’exploration de votre site.

Test d’exploration

Malheureusement, les outils accessibles au public tels que DeepCrawl et Screaming Frog’s SEO Spider ne peuvent pas parfaitement reproduire les robots de recherche modernes. Les outils peuvent afficher des résultats négatifs lorsqu’un robot de recherche peut accéder au contenu.

Le SEO Spider de Screaming Frog est un outil utile pour identifier les erreurs d'exploration potentielles, tout comme DeepCrawl. Cependant, ni l'un ni l'autre n'est infaillible, cependant, dans la réplication parfaite des robots de recherche.

Le SEO Spider de Screaming Frog est un outil utile pour identifier les erreurs d’exploration potentielles, tout comme DeepCrawl. Cependant, ni l’un ni l’autre n’est infaillible, cependant, dans la réplication parfaite des robots de recherche.

La première étape pour tester si les robots de recherche peuvent explorer l’intégralité de votre site consiste à vérifier l’index de Google. Dans la barre de recherche de Google, saisissez « site: » avant toute URL que vous souhaitez vérifier, telle que:

site:www.mysite.com/this page/

Les requêtes de site renvoient une liste de pages que Google a indexées et qui commencent par la chaîne d’URL que vous avez saisie. Si les pages manquantes dans vos analyses sont également absentes de l’index de Google, vous pourriez avoir un blocage d’exploration. Cependant, si les pages sont indexées mais ne génèrent pas de trafic organique, vous avez probablement un problème de pertinence ou d’autorité de lien.

Vous pouvez également vérifier l’indexation dans Google Search Console avec l’outil «d’inspection d’URL», mais une seule page à la fois.

Si la requête du site ne parvient pas à déterrer les pages, essayez d’explorer votre site avec Screaming Frog ou DeepCrawl. Laissez le robot s’exécuter sur votre site et recherchez les zones manquantes d’un certain type – grilles de navigation, pages de détails de produits, articles.

Si vous ne voyez pas de trous dans l’exploration, votre site est probablement explorable. Les robots de recherche, encore une fois, sont plus performants que les outils d’exploration. Si un outil peut accéder au contenu d’un site, il peut aussi rechercher des robots. Et les problèmes identifiés dans un robot d’exploration peuvent être de faux négatifs.

Utilisez également des outils de robot d’exploration dans les environnements de préproduction pour identifier les problèmes d’analyse avant lancer, ou au moins donner une idée de ce à quoi vous aurez affaire lors de sa mise en ligne.