El primer marqués de los Vélez encargó a varios artistas italianos la construcción del castillo-palacio de los Fajardo en el s. XVI. De hecho el edificio no parece para nada una fortaleza, no hay más que ver sus magníficas terrazas y los numerosos vanos que atraviesan sus altos muros contrastando, eso sí, con el recio torreón de 25 m de altura. Algunas decoraciones (frisos de madera, mármoles) se exponen hoy en diferentes museos.