Hallo,
ich denke eher die Frage zielt in Richtung der späteren Wartung der Seite. Also das Änderungen am Grundgerüst nicht auf jeder Seite einzeln durchgeführt werden müssen.
Wenn du die Seiten offline mit Notepad++ bearbeiten willst wäre das Arbeiten mit PHP und hier speziell dem "include"-Befehl, der übliche Weg. Googeln nach "php include" sollte dir hilfreiche Ansätze geben.
Allerdings muss dein Provider PHP unterstützen. In den billigsten Paketen ist das häufig nicht der Fall. Interne Webserver wie XAMPP haben PHP, das Offline-Testen ist deshalb kein Problem.
Gruss
MrMurphy