Cheatah: dynamische 'robots.txt' mit PHP

Beitrag lesen

Hi,

Die einfachere Lösung wäre da doch einfach eine 'dynamische' robots.txt zu generieren, oder?

ist das einfacher, als gleich die User-Agents anzugeben?

User-agent: *
Allow: /index.php

Es gibt nur Disallow, kein Allow, und es können auch nur ganze Verzeichnisse ausgeschlossen werden.

Btw, warum heißt diese Ressource auf ".php"? Wird PHP-Code ausgeliefert? Damit können Browser nichts anfangen. Wenn's HTML ist, nenn die Ressource doch einfach auf ".html".

Tipp: http://www.suchfibel.de/

Cheatah