Comment AWS S3 a Bloqué Googlebot : Mon Cas d’Étude et Solutions

Introduction

Au cours des derniers mois, de nombreux professionnels du SEO ont rencontré divers défis en matière de visibilité et de référencement. Parmi ces défis, l’un des plus troublants a été l’impact de Googlebot confronté à des problèmes d’accès aux images hébergées sur Amazon Web Services (AWS) S3. Ce problème spécifique a entraîné une chute significative des impressions et des clics liés aux images sur Google Search et Google Discover.

Identification du Problème

En juin 2024, j’ai remarqué que Google ne montrait plus beaucoup de mes images dans les résultats de recherche. Des lecteurs m’ont également informé de ce problème. À l’aide de l’outil d’inspection des URL de Google Search Console, j’ai découvert que les URLs S3 que j’utilisais pour héberger mes images bloquaient Googlebot lors du crawl.

Pourquoi AWS S3 Bloquait Googlebot

Apparemment, il s’agissait d’un changement non documenté dans AWS qui a conduit à ce que Googlebot reçoive des erreurs 404 lorsqu’il tentait d’accéder à mes URLs d’images. Bien que ces URLs soient accessibles depuis mon navigateur, Googlebot n’était pas en mesure de les crawler. Cela a entraîné une baisse de 83% des impressions de mes images sur Google Search et Google Images, et une réduction de 76% des clics liés à la recherche d’images.

Les Conséquences de Ce Problème

Les conséquences de ce blocage ont été immédiates et sévères. Le rapport de performance de Google Search Console illustre bien cette situation : une chute drastique autour du 15 juin et une récupération progressive à partir du 8 juillet.

Bien que la situation soit désormais stabilisée, le trafic de mes images n’a toujours pas retrouvé ses niveaux normaux d’avant ce problème, même après deux mois, témoignant ainsi de l’impact durable de ce type de problème technique.

Lire  Incorporez Facilement Vos Informations d'Expédition et de Retour dans Google Search Console

Les Démarches Pour la Résolution

Face à ce problème, j’ai contacté tant Google qu’AWS. Il est probable que de nombreux autres sites utilisant S3 aient rencontré des erreurs similaires, mais étrangement, peu de plaintes publiques ont été enregistrées.

Après plusieurs jours, AWS a finalement corrigé le problème, permettant à Googlebot de crawler à nouveau mes URLs d’images. Voici quelques captures d’écran montrant le processus de récupération :

  • Initialement, Googlebot voyait des erreurs 404 :
  • Après correction d’AWS, les images ont été correctement indexées :

Changements Opérés pour Prévenir de Futurs Problèmes

Pour éviter la récurrence de ce problème, j’ai décidé de migrer mes images vers AWS CloudFront, un service qui n’était pas disponible lorsque j’ai commencé à utiliser S3 pour héberger mes images. Cette migration a été opérée pour les nouvelles images, tandis que les anciennes sont restées sur S3 après la correction effectuée par AWS.

Un Avis de Glenn Gabe

Je tiens à remercier Glenn Gabe pour avoir repéré ce problème dès le début dans Google Discover. Glenn a également rédigé un article sur la migration d’images que j’ai consulté avant de faire la transition de S3 à CloudFront. Sa perspicacité et ses conseils ont été précieux dans cette transition.

Conclusion de l’Expérience

Ce problème illustre l’importance de surveiller continuellement les performances et l’indexation des sites web. Bien que ce ne soit pas un bug de Google, mais plutôt un changement chez AWS, son impact sur le référencement a été tangible et significatif. Garder un œil attentif sur les outils comme Google Search Console et agir rapidement en cas de problème peut faire une grande différence dans la récupération de trafic et la maintenance de la visibilité en ligne.

Lire  Google déclaré monopole : quelles conséquences pour l'industrie technologique ?

By Oscar