ich dachte eigentlich, ich hätte die ETags und die Expires-Header soweit im Griff, aber das Verhalten von Firefox und Chrome unterscheiden sich ziemlich.

Einstellungssache und Handlungsphilosophie.

Chrome hingegen beharrt beim Reload darauf, nochmal beim Server anzufragen und liefert dann erst einen 304er-Status!

Den Status 304 liefert der Server. Und weil er mit 304 antwortet, liefert er auch keine Daten, nur den Kopf, insofern erscheint mir das Problem (wir reden hier in der Summe über etwa 400 zu übertragende Bytes) nicht gar so dramatisch.

Chrome ist halt etwas zu penibel, aber warum auch nicht, wenn der Benutzer schon explizit das Neuladen anfordert.
Oder, wenn man's andersrum sehen möchte: Firefox braucht eher mal einen Tritt, um vor dem Verfallsdatum geänderte Daten wirklich abzuholen.