Kostenloses Tool

Kostenloser robots.txt-Generator

Legen Sie die Regeln je Crawler fest und erhalten Sie eine gültige robots.txt für das Stammverzeichnis Ihrer Website. Es wird nichts an einen Server gesendet: Alles entsteht in Ihrem Browser.

  • Die robots.txt ist öffentlich: Jeder kann sie lesen, und sie schützt nichts. Ein hier eingetragener Pfad wird sogar allen bekannt gemacht.
  • Disallow verhindert das Crawlen, nicht die Indexierung: Eine gesperrte, aber bekannte URL (über externe Links) kann trotzdem bei Google erscheinen, nur ohne Beschreibung.
  • Um eine Seite aus Google zu entfernen, setzen Sie ein Robots-Meta-Tag „noindex“ in die Seite (oder einen X-Robots-Tag-Header) und lassen Sie sie crawlbar: Ein gesperrter Crawler sieht das noindex nie.

Erzeugte robots.txt

User-agent: *
Disallow:

Diese Website verwendet ausschließlich Cookies, die für ihren Betrieb erforderlich sind, darunter eines, das sich merkt, dass Sie diesen Hinweis gelesen haben. Außerdem messen wir unsere Besucherzahlen mit einem selbst gehosteten Werkzeug, ohne Cookies und ohne Ihre IP-Adresse zu speichern. Keine Werbung, keine Tracker von Dritten. Mehr zum Datenschutz