Die Burg Holtzbrinck ist neben der Burg Altena der einzige repräsentative Profanbau von kunsthistorischer Bedeutung und gleichzeitig das älteste Bürgerhaus der Stadt. Sie wird erstmals 1643 urkundlich erwähnt, als sie der Rentmeister Georg Holtzbrinck erwarb. Sicher erscheint jedoch, dass der älteste Teil des Hauses bereits aus dem 16. Jahrhundert stammt.
Stephan Johann, der Sohn Georg Holtzbrincks, nahm bedeutende Veränderungen an dem Gebäude vor. Dadurch erhielt das Haus in den Jahren 1673-1689 in etwa seine heutige Form, auch die „alte Treppe” entstand in dieser Zeit. In der 1937 angebauten Garage sind heute Küche, Garderobe und Toiletten untergebracht.
Den Namen „Burg” Holtzbrinck erhielt das Haus aufgrund seiner burgartigen Anlage.
Die Stadt Altena kaufte 1972 das gesamte Gelände. In mehrjähriger Arbeit wurde das Gebäude restauriert und im Jahr 1976 seiner neuen Bestimmung übergeben: Die Burg wurde zur „Bürgerburg”, einer Stätte der Begegnung, die jedem Besucher zum Ausruhen, Lesen und zum Besuch von Veranstaltungen zur Verfügung steht. In den Jahren 1980/81 wurde die Tiefgarage erbaut und der darüberliegende Garten im Stil des Rokoko angelegt.
Die Begegnungsstätte bietet Platz für ca. 60 Personen inkl. Theke und Kaffeeküche.
Das Blaue Zimmer (Trauzimmer) bietet Raum für ca. 10 Personen.
Im Kamin-Zimmer im 1. OG finden ca. 25 Personen Platz und der Georg-von-Holtzbrinck-Saal im 1. OG bietet ca. 130 Sitzplätze.
In der Burg Holtzbrinck sind Bühnenelemente sowie ein Bechstein-Flügel vorhanden.