par Oscar 
Dans le dernier épisode du podcast « Search Off The Record » de Google, John Mueller, Lizzi Sassman et Gary Illyes ont abordé plusieurs aspects du crawling, tout en proposant des idées pour le rendre plus efficace. Cette discussion révèle des points importants sur la manière dont Google gère le crawl, ainsi que certaines idées fausses courantes sur la fréquence de crawl et la qualité des sites.
Améliorations envisagées pour le crawling
Gary Illyes a mentionné que l’une de ses missions pour l’année 2024 est de rendre le crawling plus efficace. Il a notamment évoqué une proposition de « nouveau type de transfert en bloc » (chunked transfer) faite par un membre de l’Internet Engineering Task Force (IETF). L’IETF est l’organisme qui établit des standards comme le Robots Exclusion Protocol. Selon Gary, il suit ce développement de près et si ce « nouveau type de transfert en bloc » fonctionne, cela pourrait rendre le crawling plus efficient.
Il est à noter que cette initiative s’inscrit dans un projet plus large visant à réduire la fréquence de crawl. En effet, Google cherche à minimiser la consommation de ressources sans sacrifier la qualité des résultats de recherche. Cet objectif est crucial, car il permet d’optimiser à la fois les performances des moteurs de recherche et la gestion des ressources des serveurs web.
Les idées reçues sur la fréquence de crawl
Le podcast a également mis en lumière certaines idées reçues concernant la fréquence de crawl et la qualité des sites. Contrairement à ce que pensent certains webmasters, la fréquence de crawl n’est pas nécessairement un indicateur de la qualité d’un site. Plusieurs facteurs influencent cette fréquence, y compris la popularité du site, la fréquence de mise à jour du contenu et la structure du site.
Google utilise des algorithmes complexes pour déterminer quand et combien de fois un site doit être crawlé. Cela permet de s’assurer que les pages les plus importantes et les plus pertinentes sont indexées en priorité, tout en évitant une surcharge inutile des serveurs.
Les pistes pour améliorer l’efficacité du crawl
Au cours de la discussion, plusieurs pistes d’amélioration ont été évoquées, parmi lesquelles :
- Optimiser les sitemaps : Utiliser des sitemaps bien structurés et à jour peut aider Google à identifier les pages les plus importantes à crawler.
- Réduire la complexité des URL : Des URL simples et claires facilitent le travail des crawlers et améliorent l’indexation des pages.
- Améliorer les performances du serveur : Un serveur rapide et réactif peut supporter une fréquence de crawl plus élevée, ce qui est bénéfique pour l’indexation rapide des nouvelles pages.
- Utiliser des en-têtes HTTP appropriés : Les en-têtes HTTP tels que « Last-Modified » et « ETag » permettent aux crawlers de savoir si une page a été mise à jour depuis leur dernière visite, ce qui évite le crawl excessif de pages inchangées.
L’importance de la collaboration avec les standards
Il est aussi crucial de noter la collaboration de Google avec des organismes de standardisation comme l’IETF. En participant à l’élaboration de nouveaux standards, Google peut influencer les pratiques de crawling et d’indexation de manière à rendre ces processus plus efficaces et standardisés à l’échelle de l’industrie.
Gary Illyes a souligné l’importance de cette collaboration en mentionnant sa vigilance quant aux développements concernant le « nouveau type de transfert en bloc ». En assurant une veille technologique continue et en adoptant rapidement les nouveaux standards, Google peut maintenir son avance technologique et offrir des résultats de recherche toujours plus pertinents et fiables.
Conclusion
En somme, le dernier podcast de Google offre des insights précieux sur les futures orientations du crawling. Avec des innovations comme le nouveau type de transfert en bloc et des stratégies pour rendre le crawl plus efficace, Google continue de pousser les frontières de la technologie de recherche. Les webmasters et les experts SEO doivent rester informés et adapter leurs pratiques pour tirer pleinement parti de ces évolutions.