Herramienta gratuita
Generador de robots.txt
Defina las reglas por robot y obtenga un archivo robots.txt válido para colocar en la raíz de su sitio. No se envía nada a un servidor: todo se genera en su navegador.
- El robots.txt es público: cualquiera puede leerlo y no protege nada. Una ruta incluida aquí queda incluso señalada a todo el mundo.
- Disallow impide el rastreo, no la indexación: una URL bloqueada pero conocida (por enlaces externos) puede aparecer igualmente en Google, sin descripción.
- Para retirar una página de Google, ponga una etiqueta meta robots «noindex» en la página (o una cabecera X-Robots-Tag) y déjela rastreable: un robot bloqueado nunca ve el noindex.
robots.txt generado
User-agent: * Disallow: