Le “Crawl” désigne l’action des robots de Google sur votre site. Ces robots, aussi appelés “crawlers”, ont pour mission de parcourir vos pages et de définir les thématiques, mots-clés et requêtes sur lesquelles les positionner. Ces robots classent ensuite les pages selon leur algorithme. 

Le “Budget de Crawl”, c’est simplement le temps et les ressources alloués par Google à ses robots pour qu’ils parcourent votre site. Celui-ci étant limité, il convient de le dépenser de façon rationnelle. Google définit le Budget Crawl d’un site en associant deux facteurs :

• La capacité d’exploration : Googlebot calcule une limite qui correspond au nombre maximal de connexions simultanées qu’il peut utiliser pour explorer un site. Cette limite peut augmenter ou diminuer en fonction de différents facteurs tels que l’état de l’exploration (plus un site ralentit ou répond par des erreurs de serveur et plus Google réduit son exploration), la limite définie par le propriétaire du site dans la Search Console, et bien sûr les limites d’exploration de Google. 

• Le besoin d’exploration : Google décide du temps qu’il va consacrer à l’exploration d’un site en fonction de sa taille, de la fréquence d’actualisation, de la qualité de ses pages et de sa pertinence par rapport aux autres sites. Trois facteurs permettent d’aider Google dans la détermination du besoin d’exploration : l’inventaire perçu c’est-à-dire sélectionner les pages que google doit explorer afin de ne pas lui faire gaspiller son temps, la popularité des URLs, et l’obsolescence.  

Les Googlebot choisissent les urls en fonction de s’ils veulent et s’ils peuvent les crawler.  C’est-à-dire que vous devez essayer le plus possible de plaire aux robots afin qu’ils reviennent régulièrement crawler vos pages.

Pour cela, nous vous conseillons de garder en tête ces trois points : qualité, maillage, nombre de pages. Il faut savoir que les robots Google réévaluent le budget crawl très souvent, alors faites en sorte que votre site réponde à leurs attentes.  

Le concept de Budget Crawl concerne essentiellement les très gros sites, mais il peut aussi se révéler être un problème sur de plus petits sites comptant plusieurs centaines d’URLs. 

Pour l’optimiser, il faut agir à plusieurs niveaux, voici les plus impactants (ceci n’est pas un top !)

Temps de chargement – La base du crawl

Les GoogleBot chargent vos pages, suivent les liens internes, chargent donc de nouvelles pages, et ainsi de suite… Son comportement est semblable à celui d’un internaute en ce sens.

En toute logique, si les temps de chargements ralentissent les robots, alors ils ralentissent également la visite de vos utilisateurs sur votre site. La vitesse de chargement de vos pages est donc un facteur primordial que ce soit pour les robots Google ou pour vos visiteurs.

Rappelons que le but est de faire en sorte que les robots indexent vos pages rapidement, il faut donc qu’ils les voient et qu’elles chargent rapidement.

Les causes d’un temps de chargement long

Un chargement long est souvent dû à des fichiers trop volumineux. 

Les images et vidéos

Les images doivent être optimisées pour que le Crawl des GoogleBot ne soit pas ralenti.

Pour optimiser une image il faut :

• Choisir le bon format afin qu’elle prenne le moins d’espace possible. Le JPG est un fichier dans lequel les données sont compressées, il supprime toutes les informations dont notre œil n’a pas besoin et ne laisse que le nécessaire pour avoir une qualité acceptable pour le numérique.
• Être attentif au format de l’image lorsqu’elle est chargée sur votre site sinon le navigateur va redimensionner lui-même vos images, ce qui lui prendra du temps.

Pour les vidéos, il convient de les intégrer sur des pages qui ne sont pas déjà surchargées en contenu, image et animation. De préférence, utiliser le format MP4 qui a un taux de compression élevé.

Les fichiers de scripts

Les fichiers de code sont également volumineux, surtout le JavaScript. Ici, on a deux moyens de régler le problème. On peut non seulement installer un gzip (mod_deflate) côté serveur, mais aussi utiliser la fonction “async” afin de synchroniser les chargements de fichiers de code source.

Maillage interne – Aidez les robots à trouver vos pages

Vous l’aurez compris, les robots de moteurs de recherche parcourent vos pages en suivant les liens qui s’y trouvent. Ainsi, il convient de les placer savamment pour éviter aux robots de “perdre leur temps” sur des pages qui ne représentent pas d’intérêt pour le référencement naturel de votre site.

Afin de surveiller le maillage interne, vous pouvez utiliser des outils de crawl comme Screaming Frog. Il est ensuite possible d’exporter les liens externes (Outlinks), sources et pages de destinations pour optimiser votre plan de maillage.

Vous pouvez également visualiser votre maillage interne de manière gratuite en utilisant une combinaison d’outils (gratuits 😉 ). Pour cela, il vous faudra récupérer l’export de screaming frog et de créer un Google sheets qui contient ces données. 

Visualiser votre maillage

Visualiser et faites la mise à jour de votre maillage interne rapidement :

1. créer un “Google fusion tables” en cliquant sur “Nouveau” puis “Plus” dans votre Google Drive.
2. Ouvrez votre Google Sheets dans ce “Google Fusion Tables” puis cliquez sur “Next” et enfin “Finish”.
3. Il ne vous reste plus qu’à créer le graphique en cliquant sur “Add charts” et “Network Graph”. 

Le plan de maillage permet entre autres d’optimiser la profondeur de page de votre site internet, favorisant ainsi un parcours plus fluide et moins efficace pour vos visiteurs.

Pour finir, les redirections 301 sont à éviter pour ne pas que Google ait à faire plusieurs chargements de pages.

Profondeur de page – Votre crawl budget est limité

La profondeur de page est la notion clé lorsqu’on parle de Crawl Budget. Il s’agit du nombre d’actions que doivent réaliser un robots et/ou un utilisateur de votre site pour atteindre une page donnée.

Importante pour gérer le Crawl Budget et pour votre référencement, on estime qu’une page de profondeur 1 à 3 génère 9 fois plus de trafic organique SEO que les pages de profondeur 4 et plus. 

La profondeur est également une clé UX de votre parcours client. En effet, si un internaute ne trouve pas l’information qu’il cherche sur votre site en 3 clics, maximum 4, il quitte votre site. Ce comportement renvoie un indicateur négatif à Google qui pénalise votre SEO.

La profondeur de page est donc une notion clé à maîtriser, faites-vous aider par une agence SEO qui saura créer un plan de maillage et une profondeur de page optimisée.

Pourquoi le budget de crawl est-il primordial ?

Pour être bien positionnées sur les moteurs de recherche, vos pages doivent être indexées. L’indexation, c’est le moment ou GoogleBot ajoute vos pages web. C’est la phase qui suit directement la phase d’exploration. Google visite toutes vos pages et évalue la pertinence de vos contenus par rapport à ceux des concurrents qu’il connaît déjà. 

Deux solutions s’offrent à vous pour indexer vos pages : 

• Attendre patiemment le passage du robot. Cela peut prendre plusieurs jours voire plusieurs semaines. Tout dépend du type de site que vous avez ainsi que la fréquence habituelle du passage du Googlebot. 

• Faire une demande d’indexation auprès de Google. Cela peut-être utile dans le cas d’un ajout récent d’une page ou de nouvelles modifications apportées sur votre site. Pour effectuer cette demande, il suffit de vous rendre sur Google Search Console, cet outil vous permettra de voir l’état de l’exploration de vos pages. Ensuite, vous avez deux possibilités : soumettre une URL et demander l’indexation de celle-ci ou alors soumettre un sitemap complet de votre site (grande quantité de liens).

Les liens entre les pages ainsi que la fréquence d’optimisation de vos pages sont des fondamentaux. Ces deux actions permettent d’augmenter le nombre de page trouvée par Google mais aussi d’en accélérer l’indexation après la publication de vos articles.

Pour analyser ces différentes bonnes pratiques et vous assurez qu’elles sont bien en place sur votre site, nous vous conseillons de réaliser un audit technique. Cet audit vous permettra d’identifier rapidement les axes d’améliorations pour performer plus vite sur Google.