Hallo!

robots.txt ist nicht dafür gedacht, Seiten ein- oder auszutragen, sondern dafür, Seiten nicht eintragen zu lassen.

http://www.google.de/intl/de/remove.html da steht das google und ein paar andere Spider das zumindest mit dem disallow so machen!
Finde keinen vernünftiegn Link zu allow, abr so wie ich das verstanden habe, werden die Seiten, die da drauf stehen automatisch indiziert, oder nicht?

Die Chance, daß eine Suchmaschine gezielt in der robots.txt-Liste nach unbekannten URLs sucht, ist IMHO eher gering bis nicht existent, weil der sinnvolle Weg der Benutzung dieser Datei "1. URL von irgendwo einlesen, 2. Prüfen, ob URL laut robots.txt verboten/erlaubt ist" lautet, nicht andersrum.
Dazu kommt, daß die Muster in der robots.txt garnichtmal echte URLs darstellen müssen, sondern nur Teile davon.

Hm, das wäre sehr dumm! Das blöde an der Sache, die Seiten sind leider nur über eine "Suche" zu finden, und befürchte das das ein Spider (noch) nicht wirklich kann ;-)

Schau mal hier nach: http://forum.de.selfhtml.org/archiv/2002/5/11433/#m63393.

Davon abgesehen ist das Eintragen sämtlicher Seiten in eine Suchmaschine eh überflüssig. Es gibt doch sicherlich zwischen Deinen Seiten Verweise, also kann sich eine Suchmaschine doch auch dort langhangeln. Ob sie nun die Adressen aus Deinen Seiten holt, aus einer "Neue Seite eintragen"-Liste oder meinetwegen auch aus der robots.txt ist doch vollkommen wurscht.
Oder gibt es in keiner einzigen Seite einen Verweis? Das wäre etwas arm..

Wie oben geschrieben, normalerweise mache ich sowas auch nicht, aber ich kann definitiv keine feste frei zugängliche Liste mit allen Links machen! Außerdem wäre die viel zu Lang. Nur nochmal zur erklärung, es handelt sich hier um mein eines Projekt(http://www.meinhausonline.de), jede da eingetragene Immobilie bekommt ein eigenes "Verzeichnis"(mit mod_rewrite vorgegaukelt :-), hat dann "darin" 5 Seiten, halt Übersicht, Bilder, Kontakt, Druckversion...(wird gerade noch alles erweitert), zur Zeit da noch rel. wenige Objekte drin sind habe ich noch keine Suchfunktion, die wird aber folgen, aber eigentlich ist die für diesen speziellen Zweck nicht erforderlich, da die Idee dahinter vorsieht, den Link in einer Zeitungsanzeige einzufügen und so nur lokale Interessenten ansprechen, und das sehr viel ansprechender als nur mit den paar Zeilen Zeitungsanzeige, aber darum geht es ja jetzt nicht :-) jedenfalls habe ich deshalb keine direkten Links auf der Seite, würde die Objekte aber trotzdem gerne immer automatisch in Suchmaschinen ein- und genauso austragen.

Oder könnte ich automatisch immer eine Seite eintragen, die alle Links enthält, und dann in der Seite <meta name="robots" content="noindex">?

Was meinst Du?

Und die Austragungen dann halt mit Disallows in der robots.txt, oder?

Grüße
Andreas