Der „Hexenturm“ am Ende des Schlossweges war Teil der mittelalterlichen Befestigungsanlage und entstand in der Stauferzeit etwa um 1250.  Dass der „Hexenturm“ jemals als Verlies für „Hexen“ diente und daher diesen Namen trägt, ist schriftlich nicht belegt - auch wenn im Jahr 1616 in Markdorf nachweislich „etliche“ Frauen wegen Hexerei angeklagt, verurteilt und hingerichtet wurden.

Der Eingang zum Turm lag ursprünglich auf der Nordseite im heute dritten Stockwerk. Über die Stadtmauer gelangte der Wächter zu einem schmalen Podest (ein stützender Balkenteil ist noch heute unter dem Eingang zu sehen) und von dort in den Turm. Erst später wurden Stockwerke eingebaut.

Auf der Westseite des Turms sind noch heute mehrere quadratische Löcher zu sehen, die als Gerüstlöcher bezeichnet werden. Man mauerte zunächst so weit, wie man mit den Armen reichen konnte. Dann setzte der Maurer in die Lücke zwischen zwei Steinbrocken einen Balken, der ins Freie ragte, einige Schritte weiter wiederholte er dies und setzte darüber eine Lage Steine. Wenn der Mörtel abgebunden hatte, legte der Maurer Bretter über die Balken und hatte so ein Gerüst, von dem aus er weiter nach oben mauern konnte.

Erst um 1800 wurde im Erdgeschoss eine Öffnung für eine Tür in das bis zu einem Meter dicke Mauerwerk gebrochen. Bald darauf wurden in zwei übereiander liegenden Stockwerken die so genannten „Bürgerstüble“ eingerichtet – Arrestzellen mit durchgehender Pritsche, wo bis zu acht „Übersitzer“ die Nacht verbringen konnten. „Übersitzer“ waren die Bürger, die in einer der Weinschenken „verhockten“ und damit gegen die Sperrstunde verstießen. Eingesperrt wurden aber auch Landstreicher oder Bettler.

Heute ist der Turm ein Objektmuseum, in dem außer den Arrestzellen Handwerkgegenstände des Seilers und des Sattlers zu sehen sind und in einem Dokumentationsraum Akten über Bettler sowie Bücher und ein Film über aussterbende Handwerksberufe informieren.