Strumento gratuito

Generatore di robots.txt

Definisci le regole per crawler e ottieni un file robots.txt valido da mettere nella radice del tuo sito. Non viene inviato nulla a un server: tutto è generato nel tuo browser.

  • Il robots.txt è pubblico: chiunque può leggerlo e non protegge nulla. Un percorso elencato qui viene anzi segnalato a tutti.
  • Disallow impedisce la scansione, non l'indicizzazione: un URL bloccato ma conosciuto (tramite link esterni) può comunque comparire su Google, senza descrizione.
  • Per togliere una pagina da Google, metti un meta tag robots «noindex» nella pagina (o un'intestazione X-Robots-Tag) e lasciala scansionabile: un crawler bloccato non vede mai il noindex.

robots.txt generato

User-agent: *
Disallow:

Questo sito utilizza solo cookie necessari al suo funzionamento, tra cui uno per ricordare che ha letto questo messaggio. Misuriamo inoltre le visite con uno strumento che ospitiamo noi stessi, senza cookie e senza conservare il suo indirizzo IP. Nessuna pubblicità, nessun tracciante di terze parti. Scopri di più sulla privacy