CSS ist genau das richtige Stichwort. Hinter dieser Abkürzung verbirgt sich der etwas sperrige Begriff "Cascading Style-Sheet", sinngemäß übersetzt: "aufeinander aufbauende Stilangaben".

Das heißt, alle Seiten können auf den gleichen Stilangaben, die Du in einer CSS-Datei festlegst, aufbauen. Dazu musst Du nur die entsprechenden Formatierungsangaben in eine Datei schreiben und diese mit einem link rel="stylesheet" in all Deinen HTML-Seiten einbinden.

Gruß, LX