C49-T001 · Indexation et moteurs de recherche

robots.txt

robots.txt guide les robots mais ne constitue pas une protection d’accès.

Comment lire le résultat

Le contrôle automatisé porte sur les réponses ou éléments mesurés dans le rapport. Un état « observé » ne démontre pas à lui seul que le contrôle est conforme.

Ce qu’il faut corriger

Créez le fichier à la racine publique et adaptez les chemins. Toute ressource sensible doit rester protégée par authentification, même si elle est interdite aux robots.

Étapes de correction

Dans le rapport, ouvrez le contrôle C49-T001 et relevez son statut, sa valeur mesurée, son URL et sa preuve. Si la mesure est absente, complétez le contrôle avant de corriger.
Ouvrez Racine Web publique du vhost (document root) et notez sa configuration actuelle.
Créez le fichier à la racine publique et adaptez les chemins. Toute ressource sensible doit rester protégée par authentification, même si elle est interdite aux robots.
Vérifiez le parcours concerné et relancez C49-T001 dans AxiSecurity.

Preuve attendue

le XML répond et les URL listées sont accessibles et destinées à l’indexation.

Exemple de configuration

User-agent: *
Disallow: /admin/
Disallow: /superadmin/
Sitemap: https://VOTRE-DOMAINE.TLD/sitemap.xml

Vérifier la correction

Exécutez cette vérification depuis un poste autorisé ou votre serveur d’administration, puis relancez AxiSecurity.

curl -s https://VOTRE-DOMAINE.TLD/robots.txt