Lexikon Begriff Reseller

Begriffserklärung Reseller / Affiliates

Robots.txt

Es gibt in der Suchmaschinenoptimierungs-Szene viele Gerüchte über die Relevanz der sogenannten Robots.txt-Datei. Sicher ist auf jeden Fall, dass man mit der Robots.txt-Datei eine Möglichkeit hat, um den Suchmaschinen den Zugang zu einer Datei oder einem Ordner oder Verzeichnis zu erschweren.

Aufbau der Robots.txt Datei

# robots.txt for http://www.domain.de  # file created: 01.01.04  User-agent: *  # Disallow: /cgi-bin/ # exclude robots from specified tree  # Disallow: /logs/  Hier steht die alte Seitenbeschreibung  # file modified: 18.09.03  Hier steht die neue Beschreibung

Sie können den obigen Text einfach kopieren und in einen ASCII-Editor einfügen. Darauf können Sie die Robots.txt für Ihre Webseite anpassen.

Dies geschieht durch Integration der eigenen Domain, dem aktuellen Datum, den Dateien oder Ordnern, die vom Robot der Suchmaschine nicht durchsucht werden sollen und der Seitenbeschreibung.
Wenn Sie über keine alte Seitenbeschreibung verfügen, dann können Sie die darauf folgenden 2 Zeilen auch einfach weglassen.

Wichtig ist nur, dass diese Datei in einem ASCII-Editor erstellt und bearbeitet wird. Der Upload muss ebenfalls im ASCII-Modus Ihres FTP-Programmes erfolgen, damit die Datei auch für die Suchmaschinen lesbar ist.

Des weiteren sollten Sie - mindestens auf Ihrer Startseite - folgenden Metatag zu den schon bestehenden anderen Metatags hinzufügen:

<meta name="siteinfo" content="robots.txt">

Dieser Metatag weist die Suchmaschinen-Robots, die Ihre Seite besuchen darauf hin, dass es eine Robots.txt-Datei gibt, und wo er diese finden kann. Am effektivsten ist es, wenn man die Datei nicht [!] umbenennt und im Hauptverzeichnis (root) der Homepage ablegt.

Der Pfad zur Robots.txt folgt immer dem Schema: http://www.domain.de/robots.txt

Wenn man diese URL in den Browser eingibt, dann kann man ebenfalls feststellen, ob der Upload um ASCII-Modus erfolgreich war. Wenn ja, dann können Sie den Inhalt so lesen, wie er im Editor eingegeben wurde ; wenn nein, dann liegt dies daran, dass der Upload im ASCII-Modus fehlgeschlagen ist.

Bei Fragen und Problemen helfen wir Ihnen kostenlos im SEO-Forum weiter.

Zurück zur Übersicht: Suchmaschinenoptimierung Lexikon

Wir beraten Sie gerne in allen Fragen rund um die professionelle Suchmaschinen-Optimierung.

Ihr persönlicher Ansprechpartner erwartet Sie bereits:

Sie betreiben eine Webseite und möchten, dass diese besser in Suchmaschinen platziert wird?

Wir unterbreiten Ihnen kostenlos und unverbindlich ein Angebot für die Optimierung Ihrer Webseite.