Calocybe: dynamische 'robots.txt' mit PHP

Beitrag lesen

Moin moin!

a) Allow gibt es durchaus, genauer seit Ende '96, das ist allerdings erst für die nächste Version vorgesehen und wird deshalb unter Umständen noch nicht von allen Suchmaschinen beachtet.

Alles was ich ueber Allow gefunden habe und nicht einer vom anderen abgeschrieben hat, ist http://www.robotstxt.org/wc/norobots-rfc.html. Das ist ein *Draft*, also noch nicht mal ein Proposal oder gar eine Recommendation, und hat daher keinerlei normativen Charakter. Wie Suchmaschinen auf Allow reagieren, steht damit voellig in den Sternen. Es waere sogar vorstellbar, dass sie dann wegen eines Syntaxfehlers einfach die Interpretation abbrechen (obwohl das immerhin auch in violation zum urspruenglichen Standard stehen wuerde).

Formulieren wir also korrekt: Es gibt Bestrebungen, einen Standard zu erstellen, der ein Allow enthaelt, aber etwas definitives ist da noch lange nicht herausgekommen. Bis dahin sollte man Allow nicht verwenden.

BTW frage ich mich schon, warum das Dokument ueber 5 Jahre da so rumgammelt, ohne dass sich jemand darum kuemmert.

So long

--
Die Aggressivitaet kommt vom Heavy Metal!!! CounterStrike ist doch nur zum Runterkommen!!!!!