Das Bischofsschloss war zuerst im Mittelalter Wohnturm der Freiherren von Markdorf und lässt sich bauhistorisch in das 13. Jahrhundert datieren. 1355 wird der Turm als „Feste in der Stadt“ zusammen mit der „alten Burg außerhalb der Stadt“ erstmals urkundlich erwähnt. Als südwestlicher Eckpunkt war er in die Stadtmauer integriert.

Knapp 100 Jahre nachdem die Konstanzer Bischöfe 1414 Herren der Stadt geworden waren, ließ Bischof Hugo von Hohenlandenberg um 1510 den mächtigen viergeschossigen Turm um ein Geschoss und den Treppengiebel erhöhen. Auf der Südseite präsentierte er in der Mitte des Giebels sein weithin sichtbares Wappen. Als sich der Bischof aus dem „reformationsgeschüttelten“ Konstanz zurückziehen musste, residierte er hier zeitweilig von 1529–31. Später wurde das Schloss von den Konstanzer Bischöfen als Sommerresidenz genutzt.

1735 wurde das Schloss unter dem Fürstbischof Johann Franz Schenk von Stauffenberg im barocken Stil umgebaut. Es erhielt eine Ausstattung mit Stuckdecken und Wandmalereien. Um größere Räume zu gewinnen, wurden zu Lasten der Statik die ursprünglichen Stützen und Unterzüge teilweise ausgebaut. Außerdem wurden die Kreuzstöcke der Fenster entfernt, damit das Innere besser belichtet wurde. 1737 ließ der Fürstbischof die Schlossscheuer an der südlichen Stadtmauer zur Hofseite hin erneuern und mit einem mächtigen Walmdach versehen. 1740 schließlich beauftragte er den namhaften Barockbaumeister Bagnato, an den Schlossturm ein repräsentatives Langhaus anzubauen. Doch erst sein Nachfolger, Fürstbischof Kasimir Anton von Sickingen, konnte den repräsentativen Anbau nutzen, als er am 9. März 1745 ein großes Festessen für die Prinzessin Anne Charlotte von Lothringen, Schwägerin der Kaiserin Maria von Österreich, ausrichtete.

Besonders eindrucksvoll ist die über dem Eingangsportal des Langhauses angebrachte bischöfliche Wappenscheibe. Die Wappenzier, die das Wappen umgibt, ist bekrönt von einem Fürstenhut, der an die Stelle des Bischofshuts, der Mitra, getreten ist. Links und rechts davon ragen Krummstab und Schwert heraus. Der Krummstab verweist auf die geistliche Macht des Bischofs, das Schwert auf seine weltliche Gewalt. Das ovale Wappenschild selbst hat vier Felder. Das rote Kreuz im weißen Feld links oben und rechts unten steht für das Bistum Konstanz. Die schreitenden Löwen in den Feldern rechts oben und links unten entstammen dem Familienwappen des Bischofs. Im Schildherz in der Mitte befindet sich das Wappen des Klosters Reichenau, ebenfalls ein rotes Kreuz auf weißem Feld, aber kleiner. Direkt darunter bezeichnet der Schlüssel, von zwei Händen gehalten, das Wappen des Chorherrenstifts Öhningen.