Sönke Tesch: dynamische 'robots.txt' mit PHP

Beitrag lesen

dann setze Links, oder melde die entsprechenden Unterverzeichnisse bei der Suchmaschine an.
Ja, aber wenn die Verzeichnisse sich teilweise täglich ändern und immer mehr werden wird es langsam schwierig! Das sollte außerdem automatisch gehen, ich könnte es zur Not mit Google, aber das ist IMHO sehr viel komplizierter als die Robots.txt, vor alle, funktioniert das bei mehr Spidern als Du wahrscheinlich glaubst!

Die ändern sich täglich? Also irgendwo hast Du da ein grundsätzliches (Verständnis-) Problem. Keine Suchmaschine der Welt wird sich darum kümmern, sich täglich ändernde Einträge im Index andauernd auszutauschen.

Du solltest Deine Seiten schon so organisieren, daß sagen wir mal ein Thema auch immer in einem "Verzeichnis" auftaucht, damit da wenigstens etwas Konstanz drin ist.
Wenn Du alle Nase lang Deine Seiten durcheinanderwürfelst, wird das mit der Indiziererei nie was vernünftiges.

Was mir auch etwas schleierhaft ist: Warum willst Du unbedingt Adressen eintragen, die Du nichtmal selber in Deinen eigenen Seiten für so wertvoll hälst, um da einen Verweis drauf zu setzen?
Meiner Meinung nach sollten noch lange bevor jemand externes einen Verweis auf Seite X setzt, innerhalb des eigenen Angebotes Verweise auf Seite X stehen.

Was sind denn das für merkwürdige Seiten? Kann man sich die irgendwo anschauen?

Gruß,
  soenk.e