Outil gratuit
Générateur de robots.txt
Définissez les règles par robot, obtenez un fichier robots.txt valide à déposer à la racine de votre site. Rien n'est envoyé à un serveur : tout est généré dans votre navigateur.
- Le robots.txt est public : n'importe qui peut le lire, et il ne protège rien. Un chemin listé ici est même signalé à tous.
- Disallow interdit l'exploration, pas l'indexation : une URL bloquée mais connue (par des liens externes) peut quand même apparaître dans Google, sans description.
- Pour retirer une page de Google, mettez une balise meta robots « noindex » dans la page (ou un en-tête X-Robots-Tag) et laissez-la explorable : un robot bloqué ne voit jamais le noindex.
robots.txt généré
User-agent: * Disallow: