Google avertit contre l’utilisation des codes d’état 403 ou 404 pour limiter la vitesse de crawl de Googlebot
Lorsque Googlebot, le robot d’exploration de Google, rencontre des pages qui nécessitent une authentification ou qui sont supprimées, il peut retourner des codes d’état HTTP 403 ou 404. Cependant, Google a récemment publié un avertissement indiquant que l’utilisation de ces codes d’état pour limiter la fréquence des explorations de Googlebot peut entraîner des problèmes d’exploration […]