Möglicherweise gibt es einen Zusammenhang zwischen diesen Ereignissen. Die Umschrift „Calsmund“ auf einer staufischen Münze ist die älteste schriftliche Erwähnung des Burgnamens, dessen Ursprung und Bedeutung bis heute jedoch nicht geklärt sind. Die Verwaltung der Burg oblag mehreren vom Kaiser ausgewählten Lehens-Männern, die diese Aufgabe sodann Burgmannen übertrugen.
In der Reichsburg Kalsmunt lebten gleichzeitig mehrere Burgmannen-Familien. Diese Familien bewohnten einfache Häuser innerhalb der Burganlage. Zusätzlich zu ihren Einzel-Lehen hatten die Burgmannen auch einen Anteil an den dazugehörigen Liegenschaften. Alle Burgmannen waren mit gleichen Rechten ausgestattet, so dass keiner zu großer Macht gelangen konnte.
Die Burg war von einer äußeren und einer inneren Ringmauer umgeben. Der markanteste Rest der Burg ist der 18 Meter hohe und 11,8 Meter breite Stumpf des in drei Geschossen erhaltenen quadratischen Bergfrieds (Wohnturm).
Eine Bestandsaufnahme im Jahr 1609 ergab bereits eine fortgeschrittene Zerstörung der Burganlage: Wetzlarer Bürger und Bauern der Umgebung nutzten die Gebäude als willkommenen, kostenlosen „Steinbruch“ für ihren eigenen Hausbau. Seit 1803 ist der Kalsmunt Eigentum der Stadt Wetzlar. In der Folgezeit wurden mehrfach Restaurierungsarbeiten durchgeführt.
