Ferramenta gratuita
Gerador de robots.txt
Defina as regras por robô e obtenha um ficheiro robots.txt válido para colocar na raiz do seu site. Nada é enviado para um servidor: tudo é gerado no seu navegador.
- O robots.txt é público: qualquer pessoa o pode ler, e não protege nada. Um caminho indicado aqui fica até assinalado a todos.
- Disallow impede o rastreio, não a indexação: um URL bloqueado mas conhecido (através de ligações externas) pode aparecer na mesma no Google, sem descrição.
- Para retirar uma página do Google, coloque uma meta tag robots «noindex» na página (ou um cabeçalho X-Robots-Tag) e deixe-a rastreável: um robô bloqueado nunca vê o noindex.
robots.txt gerado
User-agent: * Disallow: