SEOLes données semblent prouver que l'exploration de Googlebot a ralenti.

Les données semblent prouver que l’exploration de Googlebot a ralenti.

Au cours des dernières semaines, des discussions ont eu lieu dans les médias sociaux sur le fait que Googlebot a considérablement réduit son activité d’exploration. Par exemple, le fondateur d’un service d’analyse du crawl web a tweeté un graphique montrant comment l’activité de crawl de Google a diminué depuis le 11 novembre 2021.

Bien que le ralentissement de l’indexation n’affecte pas tous les sites, beaucoup sur Twitter et Reddit s’accordent à dire que quelque chose a changé chez Google en ce qui concerne l’indexation et le prouvent avec des captures d’écran de l’activité de Googlebot.

Preuve de la réduction de l’indexation

Les preuves anecdotiques d’anomalies d’exploration de Google s’accumulent sur les médias sociaux. Le problème avec les médias sociaux est que l’on peut littéralement faire n’importe quelle observation sur Google et être presque sûr de recevoir un accord.

L’anecdotique est intéressant mais pas aussi bon que l’anecdotique. observations fondées sur des donnéesc’est ce qui est apparu récemment sur Twitter.

Un fondateur du service de crawler et d’analyse de logs Seolyzer (@Seolyzer_io) a publié un graphique du comportement d’exploration de Google qui montre une chute spectaculaire de l’activité d’exploration à partir du 11 novembre.

Il a posté :

“Googlebot est en grève ! Googlebot a considérablement réduit son activité d’exploration sur de nombreux sites importants depuis le 11 novembre à 18 heures (GMT).”

Code de réponse du serveur 304 et exploration par Googlebot

Certains ont remarqué que Googlebot n’explore soudainement plus les pages qui affichent un code de réponse de serveur 304.

Un code de réponse 304 signifie 304 (non modifié).

Ce code de réponse est généré par un serveur lorsqu’un navigateur (ou Googlebot) fait une demande conditionnelle pour une page.

Cela signifie qu’un navigateur (ou Googlebot) indique au serveur qu’il a une page web enregistrée dans le cache et qu’il ne doit pas la servir si cette page n’a pas été mise à jour (modifiée).

Voici une définition du code de réponse du serveur 304 (Not Modified) tirée du site Web de la Commission européenne. Groupe de travail HTTP:

“Le code d’état 304 (Not Modified) indique qu’une demande conditionnelle GET ou HEAD a été reçue et aurait donné lieu à une réponse 200 (OK) si la condition n’avait pas été évaluée comme fausse.

En d’autres termes, il n’est pas nécessaire que le serveur transfère une représentation de la ressource cible car la demande indique que le client, qui a rendu la demande conditionnelle, dispose déjà d’une représentation valide ; le serveur redirige donc le client pour qu’il utilise cette représentation stockée comme s’il s’agissait des données utiles d’une réponse 200 (OK).”

La réponse 304 entraîne une diminution de l’exploration par Googlebot ?

Une personne a tweeté la confirmation (en français) que sur plusieurs sites avec AMP qu’il surveille, il y a eu une baisse sur les pages qui ont répondu avec une réponse 304.

La personne qui a posté le tweet original a répondu en postant un graphique montrant comment Google a presque cessé d’explorer les pages qui répondent avec un code de réponse de serveur 304 :

D’autres personnes ont remarqué un problème similaire où les pages servant une réponse 304 avaient des taux d’exploration radicalement inférieurs :

Une autre personne a remarqué une réduction des crawls sur les pages de voyage mais une augmentation des crawls sur les pages de commerce électronique :

Beaucoup d’autres personnes partagent des analyses et des captures d’écran de la console de recherche :

Plus de données :

Le code de réponse 304 ne devrait pas altérer l’exploration des sites Web

Page d’aide officielle de Google pour les développeurs Documentation sur l’exploration par Googlebot indique qu’un code de réponse 304 ne devrait pas avoir d’incidence sur l’exploration.

Voici ce que conseille la documentation officielle de Google :

“Googlebot signale au pipeline d’indexation que le contenu est le même que la dernière fois qu’il a été exploré.

Le pipeline d’indexation peut recalculer les signaux pour l’URL, mais sinon le code d’état n’a aucun effet sur l’indexation.”

Est-il possible que Google ait changé (de façon permanente ou temporaire) et que la page du développeur soit périmée ?

Théorie du consentement aux cookies

La théorie de la réponse du serveur 304 est l’une des nombreuses théories et solutions qui expliquent pourquoi Googlebot peut ne pas indexer une page Web.

Une personne a tweeté que Google a augmenté l’indexation après avoir supprimé la barre de consentement des cookies.

Pourquoi la barre de réponse d’un cookie entraînerait-elle la non-indexation d’une page Web par Google ? La barre de consentement du cookie aurait-elle pu déclencher une réponse 304, entraînant la non-indexation de la page par Google ?

La réduction des visites de Googlebot discutée sur Reddit

Le phénomène de la réduction des rampes de Googlebot a également été discuté sur Reddit.

Un Redditor a décrit comment, par le passé, les articles de leur site à succès étaient indexés dans les 10 minutes suivant leur soumission via Google Search Console.

Ils ont raconté que récemment, seule la moitié des nouveaux articles étaient indexés.

Mais cela a changé en novembre, selon ce post Reddit:

“Pour une raison quelconque, moins de la moitié de nos nouveaux articles sont indexés, même si je les soumets manuellement juste après leur publication.”

D’autres redditors ont partagé des expériences similaires :

“Beaucoup de gens vivent une expérience similaire en ce moment… Il semble que quelque chose se passe avec Google.”

“Il se passe quelque chose avec l’indexation des nouveaux articles par Google…”

“Mon site Web a 17 ans… soudainement, le dernier article a mis des semaines à être indexé.”

Google dit que rien n’est cassé

John Mueller, de Google a répondu aux questions sur Reddit:

“Je ne vois rien de cassé dans la façon dont Google indexe les choses pour le moment. Je pense que nous devons être critiques sur ce que nous sélectionnons pour l’indexation, comme tout moteur de recherche devrait le faire.”

Google teste-t-il de nouveaux modèles d’exploration ?

En octobre, Bing a annoncé un protocole d’indexation open source appelé IndexNow, dont l’objectif est de réduire la fréquence à laquelle les robots d’exploration parcourent les pages Web afin de réduire la quantité d’énergie utilisée par les centres de données pour l’exploration et les serveurs pour la diffusion des pages Web. Le nouveau protocole profite aux éditeurs car il accélère le processus de notification des moteurs de recherche lorsque des pages sont mises à jour ou créées, ce qui permet une indexation plus rapide des pages Web de qualité.

En novembre, Google a annoncé qu’il allait tester le nouveau protocole d’indexation IndexNow pour voir s’il présente des avantages.

Les économies d’énergie et la réduction de l’empreinte carbone sont l’une des questions les plus importantes de notre époque. Se pourrait-il que Google améliore les moyens de réduire le crawling sans passer radicalement à un nouveau protocole ?

Google a-t-il réduit l’exploration des pages Web ?

Certains prétendent que Google a complètement arrêté l’indexation, mais c’est faux. Cependant, de nombreuses discussions sur les médias sociaux, étayées par des données, montrent que les modèles d’indexation de Googlebot ont changé.

Lien source

Lire aussi
L’essence fait grimper les prix à la consommation aux États-Unis ; l’inflation a probablement atteint un sommet
Gasoline drives up US consumer prices; inflation likely peaked

La hausse mensuelle des prix à la consommation aux États-Unis a été la plus forte depuis 16 ans et demi Read more

Les actions renversent leurs gains antérieurs pour clôturer en baisse avec les données sur l’inflation.
Les actions renversent leurs gains antérieurs pour clôturer en baisse avec les données sur l'inflation.

Les actions américaines ont réduit leurs gains et ont baissé dans la dernière heure de négociation mardi pour clôturer une Read more

La fusion des entités HDFC va pousser les banques vers les fusions et acquisitions : Fitch
According to Fitch, both entities stand to gain from the deal.

Le projet de fusion de HDFC Bank et HDFC Ltd et l'acquisition récemment annoncée des activités grand public de Citibank Read more

Est-ce un facteur de classement dans Google ?
Est-ce un facteur de classement dans Google ?

Si vous avez deux liens internes sur une même page, qui renvoient tous deux à une autre page de votre Read more

Ce que les primo-accédants doivent savoir sur la subvention Flisp
What first-time home buyers need to know about the Flisp subsidy

FIFI PETERS: Dans notre rubrique immobilière d'aujourd'hui, nous examinons le Flisp, le programme de subventions individuelles liées au financement. [sic]. Read more

Boris Johnson insiste sur le fait que les fêtes de Noël peuvent avoir lieu alors que les ministres disent le contraire.
Boris Johnson insiste sur le fait que les fêtes de Noël peuvent avoir lieu alors que les ministres disent le contraire.

BORIS Johnson s'est démené hier soir pour sauver Noël et mettre fin aux jours de querelles ministérielles sur les nouvelles Read more

Les flux de capital-investissement dans le secteur immobilier ont chuté de 32 % pour atteindre 4,3 milliards d’USD au cours de l’exercice 22 : Rapport
PE investments in real estate

Les investissements en capital-investissement (PE) dans le secteur de l'immobilier ont chuté de 32 % pour atteindre 4,3 milliards d'USD Read more

L’Afrique du Sud fixe un objectif annuel de 900 millions de dollars pour l’exploration minière
An open cast mine in South Africa. Image: Waldo Swiegers/Bloomberg

L'Afrique du Sud souhaite attirer 900 millions de dollars d'investissements annuels dans l'exploration de ses importantes richesses minérales en éliminant Read more

Pourquoi la violation de données de GoDaddy concernant +1 million de clients est plus grave que ce qui a été décrit
Pourquoi la violation de données de GoDaddy concernant +1 million de clients est plus grave que ce qui a été décrit

Plus d'un million de clients de l'hébergement GoDaddy ont subi une violation de données en septembre 2021 qui est passée Read more

Abonnez-vous à la newsletter (gratuit)

Rejoindre la newsletter gratuitement

OBTENEZ UN ACCÈS COMPLET EXCLUSIF AU CONTENU PREMIUM

SOUTENIR LE JOURNALISME À BUT NON LUCRATIF

ANALYSE D'EXPERTS ET TENDANCES ÉMERGENTES EN MATIÈRE DE PROTECTION DE L'ENFANCE ET DE JUSTICE JUVÉNILE

WEBINAIRES VIDÉO THÉMATIQUES

Obtenez un accès illimité à notre contenu EXCLUSIF et à nos archives d'histoires d'abonnés.

Contenu exclusif

Article récents

Plus d'articles

%d blogueurs aiment cette page :