Strumento gratuito
Generatore di robots.txt
Definisci le regole per crawler e ottieni un file robots.txt valido da mettere nella radice del tuo sito. Non viene inviato nulla a un server: tutto è generato nel tuo browser.
- Il robots.txt è pubblico: chiunque può leggerlo e non protegge nulla. Un percorso elencato qui viene anzi segnalato a tutti.
- Disallow impedisce la scansione, non l'indicizzazione: un URL bloccato ma conosciuto (tramite link esterni) può comunque comparire su Google, senza descrizione.
- Per togliere una pagina da Google, metti un meta tag robots «noindex» nella pagina (o un'intestazione X-Robots-Tag) e lasciala scansionabile: un crawler bloccato non vede mai il noindex.
robots.txt generato
User-agent: * Disallow: