stephaniewalter, 9 months ago

@juliemoynat je me demande si ça sera respecté par contre, parce que le robot.txt est une "indication", aka, si c'est pas implémenté de leur côté et qu'ils suivent pas la règle, ça va pas changer grand chose. Du coup à un moment je m'attends à voir un peu de lesgislations là dessus à mon avis (peut-être en europe surtout).

juliemoynat, 9 months ago

@stephaniewalter c'est dans leur documentation donc, à priori, ça devrait être respecté. Il y a toujours ce petit doute qui subsiste mais bon.

pierstoval, 9 months ago

@stephaniewalter @juliemoynat
Ça fait longtemps que les robots.txt ne sont plus vraiment respectés.
Chez un client il y a pas mal d'années on avait un robots.txt très très fourni, et dans les logs du serveur HTTP ça n'empêchait pas d'avoir des requêtes faites par les bots qu'on pensait avoir bloqués.

Non, le seul et unique anti-spam fonctionnel c'est direct dans le serveur HTTP.

Perso j'utilise ce repo : https://github.com/Stevie-Ray/referrer-spam-blocker

Il a des configs pour Apache, Caddy et Nginx, pratique.

stephaniewalter, 9 months ago

@pierstoval j'ai eu la même, un site référencé alors qu'il était pas sencé d'après le robot.txt
On utilisait Google chat à l'époque lalala.