Andreas: dynamische 'robots.txt' mit PHP

Beitrag lesen

Hi!

Alles was ich ueber Allow gefunden habe und nicht einer vom anderen abgeschrieben hat, ist http://www.robotstxt.org/wc/norobots-rfc.html. Das ist ein *Draft*, also noch nicht mal ein Proposal oder gar eine Recommendation, und hat daher keinerlei normativen Charakter. Wie Suchmaschinen auf Allow reagieren, steht damit voellig in den Sternen. Es waere sogar vorstellbar, dass sie dann wegen eines Syntaxfehlers einfach die Interpretation abbrechen (obwohl das immerhin auch in violation zum urspruenglichen Standard stehen wuerde).

Also das die Suchmaschinen das abbrechen wage ich zu bezweifeln. Könnte man das nicht einfach mal testen? Google wird wohl kaum so ne Frage beantworten fürchte ich! Ich habe auch nur das alles gefunden, aber das Draft selbst nicht. ich weiß jetzt nicht wer akademie.de genau ist, aber unter http://www.akademie.de/websiteaufbau/tipps_tricks/content_vermarktung/suchmaschinen/zutritt_verboten.html steht unten das es so ich wie ich es gerne hätte, aber das ist ja nur von irgendnem leser geschrieben worden, der es womöglich von einer der vielen oft kopierten Seiten hat, ich hab mal an den Autor geschrieben, vielleicht hat der ja andere Quellen? Oder gibt es das ganz definitiv nicht? Ich selbst finde bei den Standards sowieso nichts wenn ich nicht genau weiß wo es steht!

Formulieren wir also korrekt: Es gibt Bestrebungen, einen Standard zu erstellen, der ein Allow enthaelt, aber etwas definitives ist da noch lange nicht herausgekommen. Bis dahin sollte man Allow nicht verwenden.

BTW frage ich mich schon, warum das Dokument ueber 5 Jahre da so rumgammelt, ohne dass sich jemand darum kuemmert.

Vieleicht hat sich ja jemand drum gekümmert und Du weißt nichts davon ;-))))  Aber ich vertraue Dir mal leber als dem ominösen Leser der diese Behauptung aufgestellt hat :-)

Grüßé
Andreas