Hi,

»» Robots.txt verhindert gar nichts, sondern empfiehlt im besten Falle
woher kommt diese Information?

aus der Realität. Ein Bot unterscheidet sich von einem Browser nur in unwesentlichen Details - und hast Du jemals einen Browser mittels robots.txt daran hindern können, eine Seite aufzurufen?

Ordentliche Suchmaschinen halten sich ausnahmslos an die robots.txt

Ja, _ordentliche_ _Suchmaschinen_ tun das. Bots sind weder beschränkt auf Suchmaschinen, noch auf ordentliche.

»» nimm .htaccess

Dieser Rat ist übrigens irreführend. Gemeint war: Nimm HTTP-Authentication.

Dort kann ich den Zugriff auf Unterverzeichnisse verbieten, das gilt aber dann doch auch für die normalen Browserzugriffe - oder nicht?

Natürlich. Browser sind schließlich nutzergesteuerte Bots mit (zumeist) graphischer Ausgabe.

Cheatah