Robots.txt
Es gibt
in der Suchmaschinenoptimierung Szene viele Gerüchte über die Relevanz der
sogenannten Robots.txt-Datei. Sicher ist auf jeden Fall,
dass man mit der Robots.txt-Datei eine Möglichkeit hat, um
den Suchmaschinen den Zugang zu einer Datei oder einem
Ordner oder Verzeichnis zu erschweren.
Aufbau der
Robots.txt Datei
Sie können den obigen Text einfach kopieren und in einen
ASCII-Editor einfügen. Darauf können Sie die Robots.txt für
Ihre Webseite anpassen.
Dies
geschieht durch Integration der eigenen Domain, dem
aktuellen Datum, den Dateien oder Ordnern, die vom Robot der
Suchmaschine nicht durchsucht werden sollen und der
Seitenbeschreibung.
Wenn Sie über keine alte Seitenbeschreibung verfügen, dann
können Sie die darauf folgenden 2 Zeilen auch einfach
weglassen.
Wichtig
ist nur, dass diese Datei in einem ASCII-Editor erstellt und
bearbeitet wird. Der Upload muss ebenfalls im ASCII-Modus
Ihres FTP-Programmes erfolgen, damit die Datei auch für die
Suchmaschinen lesbar ist.
Des
weiteren sollten Sie - mindestens auf Ihrer Startseite -
folgenden Metatag zu den schon bestehenden anderen Metatags
hinzufügen :
<meta name="siteinfo" content="robots.txt">
Dieser Metatag weist die Suchmaschinen-Robots, die Ihre
Seite besuchen darauf hin, dass es eine Robots.txt-Datei
gibt, und wo er diese finden kann. Am effektivsten ist es,
wenn man die Datei nicht [!] umbenennt und im
Hauptverzeichnis (root) der Homepage ablegt.
Der Pfad zur
Robots.txt
http://www.domain.de/robots.txt
Wenn man diesen in den Browser eingibt, dann kann man
ebenfalls feststellen, ob der Upload um ASCII-Modus
erfolgreich war. Wenn ja, dann können Sie den Inhalt so
lesen, wie er im Editor eingegeben wurde ; wenn nein, dann
liegt dies daran, dass der Upload im ASCII-Modus
fehlgeschlagen ist.
Bei Fragen und Problemen
helfen wir Ihnen kostenlos im
SEO-Forum
weiter.
Zurück zur
Übersicht:
Suchmaschinenoptimierung Lexikon
|
Analyse & Diagnose
" oder mit schriftlichen Zusätzen gekennzeichnet.