ich hatte mir überlegt ein Script zu schreiben, mit dem ich bestimmte Seiten eine Homepage in ein Suchmaschinen gezielt eintrage. Aber der Aufwand hierfür wäre viel zu groß, wenn das vernünftig und automatisch funktionieren soll. Die einfachere Lösung wäre da doch einfach eine 'dynamische' robots.txt zu generieren, oder?

robots.txt ist nicht dafür gedacht, Seiten ein- oder auszutragen, sondern dafür, Seiten nicht eintragen zu lassen.

Die Chance, daß eine Suchmaschine gezielt in der robots.txt-Liste nach unbekannten URLs sucht, ist IMHO eher gering bis nicht existent, weil der sinnvolle Weg der Benutzung dieser Datei "1. URL von irgendwo einlesen, 2. Prüfen, ob URL laut robots.txt verboten/erlaubt ist" lautet, nicht andersrum.
Dazu kommt, daß die Muster in der robots.txt garnichtmal echte URLs darstellen müssen, sondern nur Teile davon.

Schau mal hier nach: http://forum.de.selfhtml.org/archiv/2002/5/11433/#m63393.

Davon abgesehen ist das Eintragen sämtlicher Seiten in eine Suchmaschine eh überflüssig. Es gibt doch sicherlich zwischen Deinen Seiten Verweise, also kann sich eine Suchmaschine doch auch dort langhangeln. Ob sie nun die Adressen aus Deinen Seiten holt, aus einer "Neue Seite eintragen"-Liste oder meinetwegen auch aus der robots.txt ist doch vollkommen wurscht.
Oder gibt es in keiner einzigen Seite einen Verweis? Das wäre etwas arm..

Gruß,
  soenk.e