wie verschachtelt man in der kurznotation eine funktion in der funktion? geht das überhaupt?

Nein, wieso willst du das?
Klar, Funktionen sind Objekte und du kannst ihnen beliebige Eigenschaften, auch weitere Methoden, anhängen.
Aber sollte man das wollen?

Wenn du eine Funktion in einer anderen Funktion notieren willst - was etwas anderes ist, als Funktion B als Eigenschaft an Funktion A zu hängen -, dann tu dies doch einfach:

o = {  
   f : function () {  
      function sub () {} // Ist nur in dieser Funktion verfügbar, nicht von außen  
      // ...  
      sub();  
   }  
};

Suchst du vielleicht eher das?