Immer frisch – der reieRMeister im Abo als Atom-Feed:
―6. März 2005
Viele angehende Webautoren stellen sich früher oder später die Frage, wie sie dafür sorgen können, dass Google ihre tollen und wichtigen Webseiten findet. Dabei stolpern sie dann oft über Anleitungen zum Anlegen einer robots.txt. Nur warum wird die Seite dann trotzdem nicht bei Google angezeigt, obwohl so eine Datei angelegt wurde?
Die kurze Antwort lautet: Eine robots.txt-Datei dient nicht dazu, eine Suchmaschine zu den Seiten zu lotsen, sondern sie dient hauptsächlich dazu, sie auszusperren. Suchmaschinen bedienen sich kleiner Softwareprogramme, den robots, um Inhalte von Webseiten zu indizieren. Da robots von sich aus alles lesen, dessen sie habhaft werden können, wurde ein Standard verabschiedet, der es Webautoren ermöglicht, robots von Seiten auszuschließen, die sie nicht lesen sollen und deren Inhalte in keiner Suchmaschine landen sollen. Dieser wird auch von den meisten Suchmaschinen befolgt.
Einige Suchmaschinenoptmimierungstools werten das Fehlen einer robots.txt als Fehler. Dabei hat diese Datei nichts damit zu tun, ob und wie gut die robots eine Website indizieren (es sei denn mann sperrt alle robots komplett von einer Seite aus). Die robots.txt ist kein Wegweiser zu den Seiten sondern eher ein Verbotsschild.