{"id":30444,"date":"2022-02-18T09:52:19","date_gmt":"2022-02-18T08:52:19","guid":{"rendered":"https:\/\/www.redacteur.com\/blog\/?page_id=30444"},"modified":"2022-02-18T09:52:19","modified_gmt":"2022-02-18T08:52:19","slug":"crawler","status":"publish","type":"page","link":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/","title":{"rendered":"Crawler"},"content":{"rendered":"

D\u00e9finition crawler<\/h2>\n

Avant de s’attarder m\u00eame \u00e0 la d\u00e9finition d’un crawler<\/strong>, il est important de comprendre le fonctionnement des moteurs de recherche. Ces derniers utilisent des petits robots que l’on appelle des bots<\/strong> afin de parcourir la toile et de d\u00e9couvrir des sites Internet ou de les mettre \u00e0 jour. D\u00e8s que ces bots trouvent une porte d’entr\u00e9e, ils parcourent les liens et remontent les diff\u00e9rentes informations dans des data Center<\/strong>.<\/p>\n

Un crawler ou logiciel de crawl<\/strong> se base exactement sur le m\u00eame principe. La diff\u00e9rence majeure repose sur le fait qu’il n’est pas command\u00e9 par un moteur de recherche. Vous avez la main sur le crawler, car c’est un robot mis en place pour simuler le comportement des moteurs de recherche. Vous pouvez donc contr\u00f4ler le crawl pour qu’il se fasse de mani\u00e8re partielle ou sur l’int\u00e9gralit\u00e9 de votre site Internet.<\/p>\n

Son objectif repose sur la d\u00e9tection d’\u00e9ventuelles anomalies structurelles<\/strong>, mais \u00e9galement pour \u00e9tudier les liens entrants<\/a> et \u00e9valuer les performances.
\nPour obtenir une mine d’information, il faut alors croiser les donn\u00e9es du crawler avec celle des logs.<\/p>\n

\"D\u00e9finition<\/p>\n

 <\/p>\n

Comment fonctionne un crawler ?<\/h2>\n

Le maillage interne<\/strong><\/a> est primordial dans une strat\u00e9gie SEO. Sans l\u2019utilisation d\u2019un crawler<\/strong> adapt\u00e9, il vous sera difficile de relever certaines erreurs de n\u0153uds dans le maillage et de ce fait de mettre en place les optimisations n\u00e9cessaires.
\nDans certains cas, la structure d’un site Internet s’av\u00e8re bien plus complexe qu’il n’y para\u00eet. C’est le cas lorsqu’il y a des centaines ou des milliers de pages Internet, comme avec des sites e-commerce.
\nPar ailleurs, l’utilisation d’un crawler externe est \u00e9galement recommand\u00e9e afin de prendre connaissance des backlinks<\/strong><\/a> que vous avez.<\/p>\n

Afin de r\u00e9aliser ces diff\u00e9rentes op\u00e9rations, vous pouvez y parvenir en utilisant un crawler gratuit<\/strong><\/a> comme Xenu. Celui-ci est capable de d\u00e9tecter automatiquement les liens bris\u00e9s sur votre site Internet, mais \u00e9galement de vous apporter des informations compl\u00e9mentaires comme le poids des images, la profondeur des pages ou encore la longueur des titres. C’est un outil int\u00e9ressant, d’autant qu’il est totalement gratuit.<\/p>\n

Cependant, si vous souhaitez profiter de fonctionnalit\u00e9s suppl\u00e9mentaires, vous devez vous orienter vers un crawler payant<\/strong> comme SEMRush. Il s’agit d’un outil indispensable dans le r\u00e9f\u00e9rencement, car il vous permet en plus de suivre le positionnement de la concurrence ou d’effectuer des recherches sur des mots-cl\u00e9s. Cerise sur le g\u00e2teau, le logiciel vous informe d’opportunit\u00e9 de backlink<\/strong>.
\nSi vous d\u00e9sirez uniquement un logiciel assurant le crawl<\/strong> en version payante, orientez-vous vers Screaming Frog. D’ailleurs, celui-ci reste gratuit jusqu’\u00e0 500 urls.<\/p>\n

Les conseils \u00e0 mettre en pratique pour encourager les crawlers \u00e0 passer sur votre site Internet<\/h2>\n

Comme vous avez pu le voir, il existe une distinction entre le crawl manuel<\/strong> que vous effectuez avec un logiciel que vous ma\u00eetrisez et le crawl des moteurs de recherche.<\/strong><\/p>\n

Pour encourager l‘indexation<\/a> de vos pages Internet, certaines pratiques sont recommand\u00e9es comme le fait d’utiliser un fichier sitemap.xml<\/strong><\/a>. Celui-ci peut \u00eatre compar\u00e9 \u00e0 une cartographie de votre site Internet en regroupant l’ensemble des pages de votre site. C’est un fichier que vous placez directement \u00e0 la racine de votre site Internet dans un langage informatique compris par les moteurs de recherche.
\nPour maximiser le crawl<\/strong>, vous pouvez \u00e9galement utiliser le fichier “robots.txt”<\/strong>. Il s’agit du premier \u00e9l\u00e9ment que consulte le moteur de recherche lorsque ce dernier arrive sur votre site Web.<\/p>\n

Celui-ci se positionne \u00e9galement \u00e0 la racine du site et il comprend un ensemble d’instructions indiquant l’acc\u00e8s ou le refus \u00e0 certains r\u00e9pertoires.
\nMais la meilleure fa\u00e7on d’influencer Google sur l’indexation de votre site Internet reste incontestablement de mettre en place une arborescence intuitive<\/strong>. Gr\u00e2ce \u00e0 cela, les robots de Google n’auront aucun mal \u00e0 parcourir votre contenu, tout comme vos visiteurs.<\/p>\n","protected":false},"excerpt":{"rendered":"

D\u00e9finition crawler Avant de s’attarder m\u00eame \u00e0 la d\u00e9finition d’un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces derniers utilisent des petits robots que l’on appelle des bots afin de parcourir la toile et de d\u00e9couvrir des sites Internet ou de les mettre \u00e0 jour. D\u00e8s que ces bots trouvent […]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":29730,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"class_list":["post-30444","page","type-page","status-publish","hentry"],"acf":[],"yoast_head":"\nQu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com<\/title>\n<meta name=\"description\" content=\"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Qu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com\" \/>\n<meta property=\"og:description\" content=\"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/\" \/>\n<meta property=\"og:site_name\" content=\"Redacteur.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/redacteurcom\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/2022\/02\/crawler.jpg\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:site\" content=\"@Redacteurcom\" \/>\n<meta name=\"twitter:label1\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data1\" content=\"4 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/\",\"url\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/\",\"name\":\"Qu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com\",\"isPartOf\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/2022\/02\/crawler.jpg\",\"datePublished\":\"2022-02-18T08:52:19+00:00\",\"description\":\"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces\",\"breadcrumb\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage\",\"url\":\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/02\/crawler.jpg\",\"contentUrl\":\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/02\/crawler.jpg\",\"width\":700,\"height\":467,\"caption\":\"D\u00e9finition crawler\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Blog\",\"item\":\"https:\/\/www.redacteur.com\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Lexique SEO\",\"item\":\"https:\/\/www.redacteur.com\/blog\/definition\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Crawler\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/#website\",\"url\":\"https:\/\/www.redacteur.com\/blog\/\",\"name\":\"Redacteur.com\",\"description\":\"redacteur\",\"publisher\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.redacteur.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/#organization\",\"name\":\"Redacteur.com\",\"url\":\"https:\/\/www.redacteur.com\/blog\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/www.redacteur.com\/blog\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/10\/logo-redacteur-blog.svg\",\"contentUrl\":\"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/10\/logo-redacteur-blog.svg\",\"width\":1,\"height\":1,\"caption\":\"Redacteur.com\"},\"image\":{\"@id\":\"https:\/\/www.redacteur.com\/blog\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/redacteurcom\",\"https:\/\/x.com\/Redacteurcom\",\"https:\/\/www.linkedin.com\/company\/redacteur-com\",\"https:\/\/www.youtube.com\/channel\/UCgj9ySM9xy3gdL8qBafl9Uw\/\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Qu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com","description":"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/","og_locale":"fr_FR","og_type":"article","og_title":"Qu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com","og_description":"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces","og_url":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/","og_site_name":"Redacteur.com","article_publisher":"https:\/\/www.facebook.com\/redacteurcom","og_image":[{"url":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/2022\/02\/crawler.jpg","type":"","width":"","height":""}],"twitter_card":"summary_large_image","twitter_site":"@Redacteurcom","twitter_misc":{"Dur\u00e9e de lecture estim\u00e9e":"4 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/","url":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/","name":"Qu'est-ce qu'un crawler ? D\u00e9finition - Redacteur.com","isPartOf":{"@id":"https:\/\/www.redacteur.com\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage"},"image":{"@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage"},"thumbnailUrl":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/2022\/02\/crawler.jpg","datePublished":"2022-02-18T08:52:19+00:00","description":"D\u00e9finition crawler Avant de s'attarder m\u00eame \u00e0 la d\u00e9finition d'un crawler, il est important de comprendre le fonctionnement des moteurs de recherche. Ces","breadcrumb":{"@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.redacteur.com\/blog\/definition\/crawler\/"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#primaryimage","url":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/02\/crawler.jpg","contentUrl":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/02\/crawler.jpg","width":700,"height":467,"caption":"D\u00e9finition crawler"},{"@type":"BreadcrumbList","@id":"https:\/\/www.redacteur.com\/blog\/definition\/crawler\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Blog","item":"https:\/\/www.redacteur.com\/blog\/"},{"@type":"ListItem","position":2,"name":"Lexique SEO","item":"https:\/\/www.redacteur.com\/blog\/definition\/"},{"@type":"ListItem","position":3,"name":"Crawler"}]},{"@type":"WebSite","@id":"https:\/\/www.redacteur.com\/blog\/#website","url":"https:\/\/www.redacteur.com\/blog\/","name":"Redacteur.com","description":"redacteur","publisher":{"@id":"https:\/\/www.redacteur.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.redacteur.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"},{"@type":"Organization","@id":"https:\/\/www.redacteur.com\/blog\/#organization","name":"Redacteur.com","url":"https:\/\/www.redacteur.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/www.redacteur.com\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/10\/logo-redacteur-blog.svg","contentUrl":"https:\/\/www.redacteur.com\/blog\/wp-content\/uploads\/sites\/6\/2022\/10\/logo-redacteur-blog.svg","width":1,"height":1,"caption":"Redacteur.com"},"image":{"@id":"https:\/\/www.redacteur.com\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/redacteurcom","https:\/\/x.com\/Redacteurcom","https:\/\/www.linkedin.com\/company\/redacteur-com","https:\/\/www.youtube.com\/channel\/UCgj9ySM9xy3gdL8qBafl9Uw\/"]}]}},"_links":{"self":[{"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/pages\/30444","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/comments?post=30444"}],"version-history":[{"count":0,"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/pages\/30444\/revisions"}],"up":[{"embeddable":true,"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/pages\/29730"}],"wp:attachment":[{"href":"https:\/\/www.redacteur.com\/blog\/wp-json\/wp\/v2\/media?parent=30444"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}