Hallo!
ich hatte mir überlegt ein Script zu schreiben, mit dem ich bestimmte Seiten eine Homepage in ein Suchmaschinen gezielt eintrage. Aber der Aufwand hierfür wäre viel zu groß, wenn das vernünftig und automatisch funktionieren soll. Die einfachere Lösung wäre da doch einfach eine 'dynamische' robots.txt zu generieren, oder?

Es sollen automatisch bestimmte Seiten(Verzeichnisse) entfernt und hinzugefügt werden können, einzeln!

Das soll dann am Ende so aussehen:
erstmal die dauerhaft statischen Seiten wie die Startseite erlauben, und andere wie agbs, login, Bilderverzeichnis... verbieten. Danach dann die Verzeichnisse, die aus den Suchmaschinen verschwinden sollen wieder verbieten, und dann die Verzeichnisse, die neu sind erlauben.

User-agent: *
Allow: /index.php
Disallow: /kontakt.php
Disallow: /AGBs.php
Disallow: /login.php
Disallow: /images/
Disallow: /Verzeichnis4/
Disallow: /Verzeichnis5/
Disallow: /Verzeichnis6/
Allow: /Verzeichnis1/
Allow: /Verzeichnis2/
Allow: /Verzeichnis3/
Allow: /Verzeichnis78/

Im Prinzip könnte ich ja mit fputs() einfach jedesmal eine neue Datei generieren, aber das Dumme an der Sache, Ich muß ja irgendwie prüfen, ob der Eintrag bereits enhalten ist. Ich dachte daran, per file() die Datei zeilenweise in einen Array zu laden, und diesen dann entsprechend zu überprüfen und entsprechend zu reagieren.

Aber irgendwie bin ich mit der Lösung nicht wirklich glücklich. oder vielleicht alle Allows in eine Datei und alls Disallows ien eine andere, und hinterher immer neu generieren?

Wie würdet Ihr das machen? Was kann man überhaupt dazu sagen, wie halten sich Suchmachinen an sowas?

Grüße
Andreas