Die Siedlungsbefestigung Markdorfs östlich des Dorfs begann um 1200 und bildete sich, südwestlich an die bereits bestehende Kirche anschließend, als Rechteck aus. Die Hocheinstiege der vier erhaltenen Ecktürme (Turm neben der Kirche, später unterer Teil des Kirchturms; Untertorturm; Feste, später unterer Teil des Bischofsschlosses; östlicher Turm, später Hexenturm genannt) zeigen ihre Schutzfunktion. 1268 war die Befestigung so weit fortgeschritten, dass Markdorf in Urkunden als oppidum, als „befestigte Anlage“, bezeichnet wird.

Im 14. Jahrhundert wurde die Stadt nach Osten erweitert. Der Mauerring, der die Oberstadt (östlich der Pfarrkirche) und die Unterstadt (westlich der Pfarrkirche) umgab, war fast 800 m lang und hatte bis zu 8 Meter hohe und an der Basis bis zu einem Meter dicke Mauern. Drei große Stadttore führten in die Stadt hinein und aus der Stadt hinaus: im Westen das Untertor, im Norden das Helltor und im Osten das Obertor. Dem Obertor unmittelbar angegliedert war der Blaserturm, wie das Helltor Opfer des verheerenden Stadtbrands im Jahre 1842.

Von der Stadtmauer existieren noch Reste in den Häusern der Ulrichstraße, die sich früher an die Stadtmauer anlehnten, an der Stadtgrabenstraße und an der Schlossscheuer.