Torre del homenaje del antiguo castillo, conquistado por Fernando III en 1226, y donado a la recién creada Diócesis de Jaén. Fue vivienda de los Obispos Jiennenses y más tarde convertido en cárcel eclesiástica. Está compuesta por dos plantas de importante y gran valor artístico-estético, la primera cubierta con una bóveda terminada en unas falsas trompas de ladrillo, la segunda, muy interesante, la forman ocho nervios de ladrillo sobre cuatro trompas apuntadas, que forjan la cubierta. Esta segunda planta tiene cuatro huecos: dos aspilleras apuntadas y dos ventanas con bóvedas de medio cañón. La edificación recuerda más a la construcción religiosa que a la defensiva. Fue catalogado como bien de interés cultural en el año 1985.
El centro histórico de Begíjar, integrado por un torreón que testifica la presencia de un castillo de significativa incidencia estratégica en la comarca durante la Baja Edad Media, una iglesia parroquial de clara volumetría y empaque de fortaleza, y el Ayuntamiento, que conserva su originaria portada del siglo XVI, tiene incoado expediente desde 1983 para su declaración como Bien de Interés Cultural por la Consejería de Cultura de la Junta de Andalucía.