Hi!

ist das einfacher, als gleich die User-Agents anzugeben?

Das Problem ist, das auf diese Verzeichnisse keine direkten Links existieren, also werden diese auch niemals in eine Suchmaschine eingetragen. Die Daten hierfür kommen aus deine Datenbank, es handelt sich jeweils um 5 php-Seiten in einem Verzeichnis, die ca. 3-6 Monate existieren.
Damit in der Suchmaschine nicht ohne Ende Leichen liegen, hatte ich mir das so gedacht!

User-agent: *
Allow: /index.php

Es gibt nur Disallow, kein Allow, und es können auch nur ganze Verzeichnisse ausgeschlossen werden.

Btw, warum heißt diese Ressource auf ".php"? Wird PHP-Code ausgeliefert? Damit können Browser nichts anfangen. Wenn's HTML ist, nenn die Ressource doch einfach auf ".html".

Wie meinen? ich habe vereinfacht gesagt eigene Templates für Kopf, Fuß und Navigation der Seite, die eigentliche Seite index.php besteht im Prinzip nur aus einer Tabelle, das drumherum wird aus den 3 genannten Files eingebunden. So ist das bei allen Seiten, ist schön einfach zu ändern, und der Apache ist so kunfiguriert, das er die index.php auch als "Startseite" ansieht, wenn keine index.html existiert!

Tipp: http://www.suchfibel.de/

mein Tipp: http://www.robotstxt.org/wc/norobots.html#examples

Warum schreiben die dann gerade bei so ner Seite so nen Quatsch???

Grüße
Andreas