Hallo,

Robots.txt verhindert gar nichts, sondern empfiehlt im besten Falle

woher kommt diese Information?
Ich habe jetzt über Google in der Mehrheit Beiträge gefunden mit dem Tenor:
Ordentliche Suchmaschinen halten sich ausnahmslos an die robots.txt

Nein, gewiss nicht, wenn du den Zugriff verbieten willst.

Zitat

kann ich mit folgender Angabe in robots.txt den Zugriff der Bots auf
a l l e   meine Unterverzeichnisse verhindern?

Robots txt steuert, ob Seiten öffentlich indexiert werden. Daran mag sich ein teil der Bots, die sich als Index Bots ausgeben, halten.

Dummerweise ist der robots.txt Standard dermassen lausig, das es nicht einmal eine ordentliche Syntax gibt die verschiedenen Bots mit Sicherheit anzusprechen.

Zu robots text gibt es auch die Möglichkeit mit dem <meta> Element Seitenweise eine Empfehlung auszugeben.
http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

nimm .htaccess
Dort kann ich den Zugriff auf Unterverzeichnisse verbieten, das gilt aber dann doch auch für die normalen Browserzugriffe - oder nicht?

Es gilt für jene Agents, welche du in einer besonderen Weise erkennst.

Du kannst mit htaccess kontrollieren, dass Google nicht nur ein ordentlicher Browser ist, sondern unter seinem Deckmantel als Google Bot auch nicht in der Lage ist, Bilder zu indexieren.

Separiere was du brauchst.
Robots Text als Empfehlung. .htaccess aber als zwingende Regel, und im Sinne eines absoluten Verzeichnisschutzes wie Cheatah sagt, mittels HTTP Authentification (die nicht zwingend an ein .htaccess File gebunden ist).

mfg Beat