Hallo Aleksej
Fuer Google ist also das robots-Meta-Tag wichtiger als die robots.txt.
Aber wenn ich eine robots.txt und keine robots-Meta-Tag hab, werden die Verzeichnisse, die Durch die datei gespert werden sollen doch gesperrt oder?
Ich vermute: ja.
Immerhin behauptet Google ja, dass er sich an die robots.txt haelt:
http://www.google.de/intl/de/remove.html#exclude_website
Was mich an der Geschichte stoert, ist, dass er die
"gesperrten" Seiten _ueberhaupt_ "angschaut" hat.
Nach meinem Verstaendnis von
[http://www.robotstxt.org/wc/norobots.html#format]
sollte ein Robot _gar_nicht_ in ein "gesperrtes" Verzeichnis gehen:
"Disallow
The value of this field specifies a partial URL
that is not to be visited."
(meine Uebersetzung: "... die nicht besucht werden soll.")
mfg
Thomas