Microsoft confirme le blocage de Bing par Reddit
Reddit a récemment modifié son fichier robots.txt, empêchant Bing et de nombreux autres moteurs de recherche de parcourir son site. Selon un représentant de Microsoft, « Bing a cessé de parcourir Reddit après la mise en place de leur nouveau fichier robots.txt le 1er juillet ».
Chronologie des événements
Le 1er juillet 2024, Reddit a mis à jour son fichier robots.txt, interdisant à plusieurs moteurs de recherche et outils d’IA de parcourir le site. Contrairement à certaines suppositions, Google n’a pas été bloqué par cette mise à jour. Toutefois, la majorité des autres robots d’exploration ont été empêchés d’accéder au contenu de Reddit.
Ce matin-là, Mark Williams-Cook a signalé une baisse des résultats de Reddit dans l’index de recherche de Bing. Après vérification, il apparaît que Reddit utilise la détection d’IP pour montrer une version de son fichier robots.txt aux moteurs de recherche et une autre aux utilisateurs humains.
Impact sur Bing
Bing a cessé de parcourir les nouveaux contenus sur Reddit. Ainsi, lorsqu’on filtre les résultats de Reddit sur Bing pour la dernière semaine, il n’y a aucun contenu récent visible :
Un porte-parole de Microsoft a confirmé : « Nous respectons la norme robots.txt. Bing a arrêté de parcourir Reddit suite à leur mise à jour du fichier robots.txt interdisant tout crawling de leur site. »
Déclaration de Reddit
Tim Rathschmidt, porte-parole de Reddit, a déclaré à The Verge : « Cela n’a aucun lien avec notre récent partenariat avec Google. Nous étions en discussion avec plusieurs moteurs de recherche. Nous n’avons pas pu parvenir à des accords avec tous, certains étant incapables ou réticents à garantir l’utilisation de notre contenu, y compris pour des applications d’IA. »
Pourquoi est-ce important
Avec l’accord de licence conclu entre Reddit et Google, Reddit peut se montrer plus exigeant avec d’autres moteurs de recherche et outils d’IA. En conséquence, la plupart des autres moteurs de recherche sont bloqués. Google, de son côté, génère actuellement une grande quantité de trafic vers Reddit, allant même jusqu’à tester des traitements spéciaux dans ses résultats de recherche pour le contenu Reddit.
Il est légitime de se demander si d’autres grands sites web pourraient suivre cette voie et quelles conséquences cela pourrait avoir pour les éditeurs et producteurs de contenu de plus petite taille.
Pour l’instant, ne vous attendez pas à voir beaucoup de nouveaux contenus Reddit apparaître sur Bing dans un avenir proche.