Thomas Luethi: meta-tags ... ?

Beitrag lesen

Hallo Aleksej

Fuer Google ist also das robots-Meta-Tag wichtiger als die robots.txt.

Aber wenn ich eine robots.txt und keine robots-Meta-Tag hab, werden die Verzeichnisse, die Durch die datei gespert werden sollen doch gesperrt oder?

Ich vermute: ja.
Immerhin behauptet Google ja, dass er sich an die robots.txt haelt:
http://www.google.de/intl/de/remove.html#exclude_website

Was mich an der Geschichte stoert, ist, dass er die
"gesperrten" Seiten _ueberhaupt_ "angschaut" hat.

Nach meinem Verstaendnis von
[http://www.robotstxt.org/wc/norobots.html#format]
sollte ein Robot _gar_nicht_ in ein "gesperrtes" Verzeichnis gehen:
"Disallow
  The value of this field specifies a partial URL
  that is not to be visited."
(meine Uebersetzung: "... die nicht besucht werden soll.")

mfg
Thomas