Hallo,

Robots.txt verhindert gar nichts, sondern empfiehlt im besten Falle

woher kommt diese Information?
Ich habe jetzt über Google in der Mehrheit Beiträge gefunden mit dem Tenor:
Ordentliche Suchmaschinen halten sich ausnahmslos an die robots.txt

nimm .htaccess

Dort kann ich den Zugriff auf Unterverzeichnisse verbieten, das gilt aber dann doch auch für die normalen Browserzugriffe - oder nicht?

Gruß