Construido sobre unos conglomerados que se alzan con gran altura sobre el Río Queiles.
Fue en origen la antigua zuda musulmana. Un edificio de carácter militar en el que residían los gobernadores musulmanes y posteriormente, tras la reconquista, utilizado como residencia de los reyes de Aragón.
En 1386 fue comprado por el obispo Pérez Calvillo. Aquí se inició una profunda transformación del edificio que no acabó hasta el episcopado de González de Munébrega (1547-1567). En este periodo se amplió el edificio en varias ocasiones.
Destacan la cúpula renacentista de la escalera noble, el patio renacentista aragonés, el salón de retratos de obispos, obra inicial de Pietro Morone, la galería de arquillos y la torre de Hércules. La fachada sur está jalonada con un retablo exterior de ladrillo dedicado a San Pedro y a otros santos locales.