El castillo está construido sobre un antiguo poblado o castrum romano. Castillo de índole defensiva que en tiempos del Califato de Córdoba perteneció al triángulo defensivo de la Qora. Su historia está llena de hechos: durante el reinado de Alfonso VI, soporta embestidas de los norteafricanos, almorávides y almohades

Sus muros vieron nacer en el 1282 al infante D. Juan Manuel que construyó sus torres alberranas. También pasó por las manos de los Tratasmara, Don Alfonso, Duque de Denia, hasta Enrique IV, que se lo donó  a D. Juan Pacheco caballero de la orden de Santiago y I Marqués de Villena, quien sumará además el título de Duque de Escalona.  El Condestable de Castilla D. Álvaro de Luna vivió en él. Durante cuatro siglos permanece en manos de los Villena, pasando su posesión de forma sucesiva al Duque de Uceda, a la Casa de Osunay, finalmente, al Duque de Frías, también Marqués de Villena, ya en el siglo XIX.

Los franceses comandados por el mariscal Soult, desmantelaron las cubiertas del castillo para poder construir un puente sobre el río Alberche incendiando (como siempre) el resto de la fortaleza.

Es uno de los castillos medievales más antiguos. De origen árabe, perteneció a la Orden de Calatrava. Carlos I lo entregó junto con las tierras y la Iglesia Parroquial a D. Diego de Cárdenas, creando el ducado de Maqueda, éste lo mandaron reconstruir, corría el siglo XV. Isabel la Católica, vivió en él acompañada por su amiga  Doña Beatriz de Bobadilla.  El castillo es de planta cuadrada con cuatro torreones y un foso rodeándolo. La puerta principal tiene incrustado el escudo del matrimonio Cárdenas y Enríquez.
Actualmente está en proceso de restauración.

Este castillo se encuentra en Santa Cruz de Retamar, castillo guerrero.  conquistado por los musulmanes en el 930 y reconquistado por las huestes de Alfonso VI en 1085. Demolido en el siglo XIV y reconstruido después por D. Pedro Tenorio, duró hasta que sobre el 1480-1490 fue de nuevo desmantelado. Posteriormente en el solar se construyó un palacio No quedan apenas vestigios de lo que fue un fortaleza defensiva del triángulo de  Qora . Era de planta cuadrangular con torres cada 15 metros

ALBERTO CONDE DE OYA