El palacio fue la residencia familiar, donde pasaban sus largos estíos, una tradición que la duquesa de Alba seguiría con Luis Martínez de Irujo y que no abandonaría. Pese a que sus agostos más celebrados los viviera en sus residencias de Marbella e Ibiza, doña Cayetana siempre fue fiel a San Sebastián.
El palacio fue edificado en 1881 por orden del duque de Sotomayor, Carlos Martínez de Irujo y del Alcázar, abuelo del primer marido de Cayetana de Alba. A finales del siglo XIX San Sebastián y Zarauz vivieron su 'belle epoque', cuando la nobleza española elegía el norte para sus veraneos.