Gut, und meine Ursprungsfrage bezieht sich auf diese Mehrheit der Robots.
Diese Frage war:
kann ich mit folgender Angabe in robots.txt den Zugriff der Bots auf
a l l e   meine Unterverzeichnisse verhindern?

Disallow: /*/

Nein, die Syntax ist falsch http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

Wenn dir wirklich nur um den Zugriff geht, dann ist die robots.txt der richtige Weg. Aber dir muss klar sein, dass du damit nicht verhindern kannst, dass die Seiten im Ergebnis von Suchmaschinen landen.

Struppi.