Die Burg von Stolzemburg liegt auf einem Hügel im Ortszentrum, oberhalb der Kirche. Im 12. Jh. wurde hier ein Wachposten am einzig fahrbaren Talweg längs der Our zu den Ardennen errichtetn. Die erste urkundliche Erwähnung der Burg geht in das Jahr 1315 zurück. Im Jahre 1454 wurde die Burg durch den Gouverneur Antoine Croy zerstört. Nach dem anschließenden Wiederaufbau, wurden die militärischen Anlagen 1679 von den Belagerungstruppen Ludwig XIV. von Frankreich definitiv zerstört. Im Jahre 1898 ersteht eine londoner Dame die Ruinen und baut sie im schottischen Stil zum Landhaus um. Heute ist die Burg Stolzemburg in Privatbesitz.
