Hallo!

dann setze Links, oder melde die entsprechenden Unterverzeichnisse bei der Suchmaschine an.

Ja, aber wenn die Verzeichnisse sich teilweise täglich ändern und immer mehr werden wird es langsam schwierig! Das sollte außerdem automatisch gehen, ich könnte es zur Not mit Google, aber das ist IMHO sehr viel komplizierter als die Robots.txt, vor alle, funktioniert das bei mehr Spidern als Du wahrscheinlich glaubst!

Die Daten hierfür kommen aus deine Datenbank,

Das sieht die Suchmaschine nicht.

Da haben Suchmaschinen auch was dagegen, daher sind es gar kein richtigen Verzeichnisse sondern mit mod_rewrite wird dem Client nur vorgegaukelt das es sich um Verzeichnisse handelt, aber als Dynamische php-Datei mit Daten in der URL würde das wohl kein Spider akzeptieren denke ich!

Damit in der Suchmaschine nicht ohne Ende Leichen liegen, hatte ich mir das so gedacht!

Lobenswert, aber leider funktioniert es so nicht.

mir reichts wenn es bei google geht(aber ich glaube bei den anderen wird das nicht so viel anders sein!): http://www.google.de/intl/de/remove.html

Ich meine, dass Du mit einem PHP-Script HTML erzeugst. Da es für niemanden auf der Welt, von Dir abgesehen, interessant ist, ob jemals PHP im Spiel war, existiert kein Grund, nicht "index.html" statt "index.php" zu nehmen.

Aber warum soll ich mir die Arbeit machen wenn es keinen stört??? Den Suchmaschinen ist das inzwischen egal, Hauptsache keine Daten in der URL!

und der Apache ist so kunfiguriert, das er die index.php auch als "Startseite" ansieht, wenn keine index.html existiert!

Es gibt keinen Grund, eine index.php zu verwenden. Benenne die Datei um, konfiguriere Apache richtig.

Hääää? Findest Du es richtiger alle html-Dateien zu parsen? Das wäre doch totaler Quatsch! Ich habe es wohl schonmal gemacht, das ich die html-Ausgabe der Scripte als .html.gz gespeichert habe und den Server angewiesen wenn vorhanden und aktuell diese auszuliefern, und sonst alst neu zu pasen und eine neue .html.gz zu erstellen, aber wegen den paar Seiten mache ich mir bestimmt nicht die Arbeit!
ich weiß nicht ob Du es gerade mitbekommen hast, ich bracuhe php um die Seiten aus mehrern Dateien per unclude() 'zusammenzubauen'!

mein Tipp: http://www.robotstxt.org/wc/norobots.html#examples

Auch nicht schlecht.

:-)

Wo schreiben die was von "Allow:"? Falls Du Dich auf die Sache mit Dateien statt Verzeichnissen beziehst: Kann sein, dass mein Kenntnisstand der Definition falsch ist; er basiert eher auf dem, was meiner Erfahrung nach von Suchmaschinen akzeptiert wird.

Das habe ich woanders her, steht da nirgens, aber Soenke bestätigt es ja auch! Habe dafür aber kein äquivalente Quelle gefunden!

Grüße
Andreas