Hi,
Die einfachere Lösung wäre da doch einfach eine 'dynamische' robots.txt zu generieren, oder?
ist das einfacher, als gleich die User-Agents anzugeben?
User-agent: *
Allow: /index.php
Es gibt nur Disallow, kein Allow, und es können auch nur ganze Verzeichnisse ausgeschlossen werden.
Btw, warum heißt diese Ressource auf ".php"? Wird PHP-Code ausgeliefert? Damit können Browser nichts anfangen. Wenn's HTML ist, nenn die Ressource doch einfach auf ".html".
Tipp: http://www.suchfibel.de/
Cheatah