Kostenloses Tool
Kostenloser robots.txt-Generator
Legen Sie die Regeln je Crawler fest und erhalten Sie eine gültige robots.txt für das Stammverzeichnis Ihrer Website. Es wird nichts an einen Server gesendet: Alles entsteht in Ihrem Browser.
- Die robots.txt ist öffentlich: Jeder kann sie lesen, und sie schützt nichts. Ein hier eingetragener Pfad wird sogar allen bekannt gemacht.
- Disallow verhindert das Crawlen, nicht die Indexierung: Eine gesperrte, aber bekannte URL (über externe Links) kann trotzdem bei Google erscheinen, nur ohne Beschreibung.
- Um eine Seite aus Google zu entfernen, setzen Sie ein Robots-Meta-Tag „noindex“ in die Seite (oder einen X-Robots-Tag-Header) und lassen Sie sie crawlbar: Ein gesperrter Crawler sieht das noindex nie.
Erzeugte robots.txt
User-agent: * Disallow: