Pour que votre site Internet et vos pages Web apparaissent dans les r\u00e9sultats de recherche de Google et consort, il faut que les robots d\u2019exploration viennent visiter votre site. Si les URLs crawl\u00e9es r\u00e9pondent aux crit\u00e8res SEO, elles seront alors index\u00e9es dans les moteurs de recherche.<\/p>\n\n\n\n
Quelle est la fr\u00e9quence de passage des robots Google<\/b> ? Comment fonctionne Googlebot ? Comment demander le passage des robots d\u2019indexation ?<\/p>\n\n\n\n
Voici la marche \u00e0 suivre pour acc\u00e9l\u00e9rer le crawl de votre site Web !<\/p>\n\n\n\n
Chaque moteur de recherche poss\u00e8de son propre robot d\u2019exploration : Google : Googlebot, Bing : Bingbot, Qwant : Qwantify\u2026<\/p>\n\n\n\n
Googlebot est le nom g\u00e9n\u00e9rique d\u2019un logiciel de crawl. On parle aussi d\u2019User-Agent, de web crawler ou encore de web spider. Son fonctionnement est le m\u00eame que tous les autres robots, y compris les robots malveillants, les spambots.<\/p>\n\n\n\n
Le robot Google explore un site de page en page, de lien en lien comme le ferait un internaute. Le crawler collecte ressources du site (page Web, documents PDF, Word, etc., images, vid\u00e9os, code source HTML\u2026) en fonction de votre budget crawl<\/b><\/a> et analyse ensuite la pertinence des donn\u00e9es.<\/p>\n\n\n\n Si celles-ci sont pertinentes, il ajoute alors les URLs \u00e0 l\u2019index de Google<\/a><\/b>. Vos pages Web font alors partie de l\u2019immense r\u00e9pertoire Google qui contient des centaines de milliards de pages Web.<\/p>\n\n\n\n Lors de l\u2019indexation, les informations sont class\u00e9es par th\u00e9matique gr\u00e2ce au champ s\u00e9mantique de vos contenus. Vous comprenez d\u00e9sormais l\u2019importance de vos choix de mots-cl\u00e9s pour votre r\u00e9f\u00e9rencement naturel !<\/p>\n\n\n\n Le budget crawl correspond au nombre de pages que Googlebot va explorer. Il est attribu\u00e9 \u00e0 chaque site et il est calcul\u00e9 est fonction de plusieurs crit\u00e8res tels que la vitesse de chargement, la profondeur de la page, la qualit\u00e9 du contenu, la fr\u00e9quence des mises \u00e0 jour\u2026<\/p>\n<\/blockquote>\n\n\n\n Pour en revenir \u00e0 notre robot, vous pouvez aussi l\u2019emp\u00eacher de crawler<\/a><\/b> certaines de vos pages, comme des pages produits dont le contenu est proche. Vous \u00e9conomiserez ainsi sur votre budget de crawl. Si vous souhaitez bloquer l\u2019acc\u00e8s d\u2019une URL au crawler, utilisez un fichier robots.txt<\/a> \u00e0 la racine de votre serveur.<\/p>\n\n\n\n Indiquez le nom du robot \u00e0 bloquer ou un ast\u00e9risque si vous souhaitez bloquer tous les robots d\u2019exploration (sauf le robot AdsBot qui, lui, doit \u00eatre sp\u00e9cifi\u00e9 explicitement), suivi de l\u2019entr\u00e9e disallow :<\/p>\n\n\n\n Il ne s\u2019agit que d\u2019une indication, Googlebot peut parfaitement d\u00e9cider d\u2019explorer votre URL malgr\u00e9 votre consigne et de l\u2019indexer ! Pour \u00eatre s\u00fbr que Google n\u2019indexe pas votre page Web, la balise \u00ab noindex \u00bb est une m\u00e9thode plus efficace. Pour cela, ajoutez la directive <meta name=”robots” content=”noindex,nofollow”>.<\/span><\/p>\n<\/blockquote>\n\n\n\n Crawler un site entier peut prendre du temps et en fonction du nombre de vos URLs et de votre budget crawl, cela peut varier de quelques heures \u00e0 quelques jours.<\/p>\n\n\n\n De plus, pour \u00e9viter de ralentir le serveur et provoquer une surcharge, le crawler ne va pas visiter toutes les pages du site en une seule fois, ce qui allonge encore le d\u00e9lai d\u2019indexation\u2026<\/p>\n\n\n\n Google utilise des algorithmes perfectionn\u00e9s qui sont capables de d\u00e9terminer le nombre de requ\u00eates maximales r\u00e9alis\u00e9es par Googlebot pour \u00e9viter de surcharger votre bande passante. Cependant, il arrive que la vitesse d\u2019exploration soit trop grande et ralentisse votre serveur. Les webmasters peuvent alors demander \u00e0 Google qu\u2019il limite cette vitesse en signalant un probl\u00e8me depuis ce formulaire<\/a>.<\/p>\n<\/blockquote>\n\n\n\n En fonction de la taille de votre site, les robots de Google passent chaque jour ou une \u00e0 plusieurs fois par semaine. Pour conna\u00eetre plus pr\u00e9cis\u00e9ment la fr\u00e9quence de passage des robots de Google, vous devez consulter les logs de votre site.<\/p>\n\n\n\n Vous l\u2019aurez compris, le r\u00e9f\u00e9rencement des pages de votre site d\u00e9pend avant tout de Googlebot. Malheureusement, la fr\u00e9quence de ses passages est tr\u00e8s al\u00e9atoire<\/b>. Alors, si vous venez de cr\u00e9er de nouvelles pages Web et que vous souhaitez qu\u2019elles soient rapidement index\u00e9es dans le moteur de recherche, voici quelques conseils pour augmenter la fr\u00e9quence de passage des robots Google !<\/p>\n\n\n\n Le robot crawler va visiter plus fr\u00e9quemment les sites r\u00e9guli\u00e8rement mis \u00e0 jour et les sites proposant des contenus SEO de qualit\u00e9. Donc, le meilleur moyen pour que vos pages soient r\u00e9f\u00e9renc\u00e9es rapidement est de publier du contenu de qualit\u00e9 le plus souvent possible.<\/p>\n\n\n\n Attention aussi au contenu dupliqu\u00e9 pr\u00e9sent sur votre site. Si vous ne voulez pas bloquer l\u2019acc\u00e8s de vos pages de contenu similaire au robot de Google parce qu\u2019elles sont importantes pour votre r\u00e9f\u00e9rencement, r\u00e9\u00e9crivez-les pour les rendre uniques !<\/p>\n\n\n\n Si votre site comporte des milliers d\u2019URL, votre budget de crawl limite le nombre de pages explor\u00e9es. Les robots vont donc visiter en priorit\u00e9 les pages principales de votre site : votre page d\u2019accueil, vos pages cat\u00e9gories de premier niveau, vos pages piliers\u2026 Si vous voulez attirer l\u2019attention du robot, actualisez r\u00e9guli\u00e8rement ces pages qui font autorit\u00e9.<\/p>\n\n\n\n La derni\u00e8re astuce pour augmenter la fr\u00e9quence de passage des robots Google consiste \u00e0 obtenir un maximum de liens externes. Googlebot explore les sites de lien en lien, y compris les liens sortants. Par cons\u00e9quent, un site qui contient un lien pointant vers votre site va entra\u00eener la visite de ce dernier !<\/p>\n\n\n\n Les recommandations suivantes ne vont pas augmenter la fr\u00e9quence des passages de Googlebot<\/b>. Par contre elles vont faciliter son travail d\u2019exploration et par cons\u00e9quent, acc\u00e9l\u00e9rer l\u2019indexation du site et donc sa pr\u00e9sence dans la recherche Google.<\/p>\n\n\n\n Pour faciliter la navigation du robot entre vos pages, optimisez vos liens internes. Id\u00e9alement, vos pages strat\u00e9giques doivent \u00eatre accessibles en un minimum d\u2019\u00e9tapes avec des ancres de liens pertinentes. Analysez votre site pour v\u00e9rifier l\u2019absence de pages orphelines, car toutes pages non attach\u00e9es \u00e0 la structure ne seront pas crawl\u00e9es.<\/p>\n\n\n\n Une structure d\u2019URL soign\u00e9e joue un r\u00f4le essentiel dans l\u2019indexation des pages. Plus votre URL est claire et explicite, plus le robot va comprendre dans quelle cat\u00e9gorie classer votre site. Les meilleures URLs sont des URLs simples, courtes et faciles \u00e0 lire : nom de domaine + mot-cl\u00e9 principal. Supprimez tout le superflu dont les mots de liaison.<\/p>\n\n\n\n Nous l\u2019avons vu, la vitesse de r\u00e9ponse du serveur impact votre budget de crawl et fait parti des crit\u00e8res SEO de Google. Donc en am\u00e9liorant la vitesse de chargement de vos pages, le robot crawlera plus de pages !<\/p>\n\n\n\n La cr\u00e9ation d\u2019un fichier sitemap<\/a> va faciliter le processus de crawl et permettre une meilleure indexation de vos pages. Un sitemap est un fichier qui liste toutes les URLs que vous souhaitez faire crawler et donc indexer. Le crawler voit alors d\u2019un seul coup d\u2019\u0153il la structure de votre site. Une fois votre fichier cr\u00e9\u00e9, il ne vous reste plus qu\u2019\u00e0 le mettre \u00e0 disposition de Google, soit en l\u2019ajoutant \u00e0 votre fichier robots.txt, soit en l\u2019envoyant dans la Search Console.<\/p>\n\n\n\n Si vous venez de publier de nouveaux contenus ou si vous avez modifi\u00e9 l\u2019existant, vous pouvez demander \u00e0 Google de venir indexer ou r\u00e9indexer vos URLs<\/a>.<\/p>\n\n\n\n Si vous n\u2019avez pas beaucoup d\u2019URLs \u00e0 indexer :<\/p>\n\n\n\n Utilisez l\u2019outil d\u2019inspection d\u2019URL de la Search Console (accessible depuis le panneau lat\u00e9ral gauche).<\/p>\n\n\n\n Si vous avez beaucoup d\u2019URLs \u00e0 indexer en m\u00eame temps, envoyez un sitemap \u00e0 Google<\/a>.<\/p>\n\n\n\n Par contre, ne vous attendez pas \u00e0 un effet imm\u00e9diat, vous devrez quand m\u00eame patienter quelques jours.<\/p>\n\n\n\n Vous souhaitez augmenter la fr\u00e9quence de passage des robots Google<\/b> rapidement ? La solution la plus rapide et la plus efficace pour faire indexer chaque page d\u2019un site tr\u00e8s vite et vous positionner en premi\u00e8re page Google, c\u2019est la cr\u00e9ation de contenu !<\/p>\n\n\n\n\n
\n
\n
Quand passent les robots Google sur votre site ?<\/h2>\n\n\n\n
\n
Comment augmenter la fr\u00e9quence de passage des robots Google ?<\/h2>\n\n\n\n
Cr\u00e9er de nouveaux contenus<\/h3>\n\n\n\n
Modifier vos pages principales<\/h3>\n\n\n\n
Gagner des backlinks de qualit\u00e9<\/h3>\n\n\n\n
Comment faciliter le passage de Googlebot<\/h2>\n\n\n\n
Optimiser votre maillage interne<\/h3>\n\n\n\n
Soigner votre URL<\/h3>\n\n\n\n
Am\u00e9liorer le temps de chargement de vos pages<\/h3>\n\n\n\n
G\u00e9n\u00e9rer un fichier sitemap XML<\/h3>\n\n\n\n
Comment soumettre une demande d\u2019indexation \u00e0 Google ?<\/h2>\n\n\n\n
\n
Notre astuce pour augmenter la fr\u00e9quence de passage des robots Google<\/h2>\n\n\n\n