Du bist auch schon nah an der Lösung ;-) Du übergibst ein Array an die Funktion, füllst es und gibst es zurück, allerdings Benutzt du den den Rückgabewert nicht, also wird für alle Ebenen, bis auf die letzte, das gefüllte Array weggeworfen.
Funktionieren sollte das ganze indem du den rekursiven Aufruf so änderst:

$mainArray[$ordner] = readdirs($pfad.$ordner.'/', array(), $z+1);

  
Aaaaaah, es geht! Jetzt weiß ich auch, was Chris meinte. Ich musste den Rückgabewert der Rekursiv-Funktion innerhalb der Funktion nochmal abspeichern, damit dieser dann wiederum per return mit zurückgegeben wird. Im Grunde nur eine klitzekleine Änderung, aber ich wäre nicht drauf gekommen. Super, vielen Dank euch beiden!  
  
  
Es passiert übrigens noch eine seltsame Sache. Wenn ich versuche den Funktionsnamen zu ändern, bekomme ich diese Fehlermeldung: "Fatal error: Cannot redeclare readdir()"...  
  
So, meine Suche hat jetzt ergeben, dass readdir() offenbar auch eine PHP-eigene Funktion ist. In diesem Zusammenhang würde ich verstehen, wenn eine Fehlermeldung beim Anlegen per function readdir() kommt. Dass die nun aber, im Gegenteil dann kommt, wenn ich den "Konflikt" beseitigen will, finde ich sehr rätselhaft. Wer kanns erklären? :-)