La gran torre, junto con sus pequeñas torretas centinelas, la entrada y el foso artificial fueron las últimas partes en ser construidas. Una gran cantidad de miembros de la realeza han vivido aquí, tales como el rey Fernando III, el rey Alfonso X, el rey Juan II y el rey Enrique IV. Todos ellos modificaron la fortaleza a su gusto.
En 1474, Isabel la Católica fue proclamada en este castillo reina de Castilla, y Carlos III erigió el Real Colegio de Artillería. El rey Felipe II, hijo del emperador del Sacro Imperio Germánico, Carlos V, estableció la capital de su reino en Madrid, pero fue el impulsor de la reforma del Alcázar. Alteró los tejados, sustituyéndolos con los tejados de pizarra de cubierta cónica, tal como los había visto en Flandes.
La Fortaleza del Real Felipe, conocida también, en su conjunto, como Castillos del Callao, es una de las pocas obras de arquitectura militar y la más grande que construyeron los españoles en América. Su misión principal, fue la defensa del Callao de piratas y corsarios. Esta fortaleza se encuentra en el puerto del Callao, en el Perú.