robots.txt

Mit Hilfe einer robots.txt-Datei kann man den Suchmaschinen-Robots zeigen, welche Seiten nicht in den Index gelangen sollen. Diese Methode eignet sich hervorragend dafür, Suchmaschinen von bestimmten Inhalten fernzuhalten.

Die Datei muss in das Root-Verzeichnis Ihrer Domain hochgeladen werden, damit Sie von den Robots gelesen werden kann.

  1. Wenn Sie allen Robots alle Seiten zugänglich machen wollen sieht das so aus:

    User-agent: *
    Allow:
  2. Einzelne Robots können Sie direkt ansprechen:

    User-agent: Googlebot
  3. Die Seite /meinseite.html können Sie folgendermaßen sperren:

    Disallow: /meineseite.html

Keine Sorge, das Ganze ist recht einfach. Eine solche Datei kann man in den Google-Webmastertools automatisch erzeugen lassen.