La fortificación fue sitiada por el cónsul romano Flavio Serviliano, que ante la tenaz resistencia ofrecida por sus ocupantes, intentó asaltarla sin éxito desde el mar. Habiendo amenazado Serviliano con pasar a cuchillo a todos los sitiados si no se rendían, éstos espetaron al romano: “Oro y plata no tenemos para comprar la libertad; pero hierro nos sobra para defenderla”.
El castillo se pierde en los rincones más remotos de la historia de España, ya adentrándose en la leyenda. En el siglo II antes de Cristo la población galaica de Erizana, "hoy Bayona, o Baiona en gallego" habría estado fortificada en la península del Monte del Buey.