Die Habsburger gaben den Bruggern im Jahre 1284 das Stadtrecht. Sie bauten in der Stadt ein Haus mit einem riesigen Vorplatz. Die Habsburger weilten gerne in dieser Stadt und verwalteten von hier aus ihr Territorium.

Als die Berner im Jahre 1415 Brugg eroberten, bildete die Stadt die Grenze des bernischen Stadtstaates. Auf der einen Seite trennte die Aare das Gebiet zu habsburgischem Gebiet, auf der anderen Seite bildete die Reuss die Grenze zur Grafschaft Baden. Dort sprach man einen anderen Dialekt.

Diese Grenznähe wurde der Stadt im Alten Zürichkrieg zum Verhängnis. Sie wurde überfallen. Dies haben die Brugger aber nie vergessen. Schnell bauten sie den Turm wieder auf, der damals gefallen war. Sie errichteten auch zusätzliche Mauern, Türme und Tore, um besser gegen erneute Angriffe geschützt zu sein. Mit der Zeit kaufte Brugg noch umliegende Gemeinden dazu und wuchs so immer weiter.

In der neueren Zeit zerfiel die Kleinstadtidylle. Türme und Tore wurden den neuen Anforderungen an die Verkehrswege geopfert.