Das untere Schloss, ehemals Residenz des protestantischen Zweiges der Herren von Nassau-Siegen, war nach der Übernahme Siegens durch die Preussen bis heute Sitz verschiedener Behörden und Ämter (sogar eines Gefängnisses!). Es ist geplant, dass die wirtschaftswissenschaftliche Fakultät der Universität (ehemals Gesamthochschule) Siegen in dem historischen Gebäude ihren Sitz erhält.

Auffälligste Bestandteile der dreiflügeligen Anlage sind die Arkaden des Mittelflügels, die über 21 Pfeiler verfügen und der „Dicke Turm“, ein Archivturm, der 1721 als Ersatz für einen mittelalterlichen Turm der Stadtmauer erbaut wurde.