Este Castillo, cuyo origen se remonta al siglo XII, está construido sobre un promontorio dominante de la Villa de Frías y del valle de Tobalina llamado, La Muela, paso importante entre la meseta castellana y la cornisa cantábrica. En él estuvo el rey Alfonso VII que lo reformó pasando a tener un importante papel dominante y desplazando de esta función al castillo de Petralata. En 1446 el castillo fue cedido al Condestable de Castilla, Pedro Fernández de Velasco, realizando éste una importante labor de restauración. En 1450 el pueblo de Frías, gobernado hasta ese momento bajo el poder real, no aceptó de buen grado el sometimiento al nuevo señor. Tras un largo asedio, los vecinos debieron desistir. Los Reyes Católicos crean el Ducado de Frías para los Velasco en el año del descubrimiento de América, 1492. En la segunda mitad del siglo XV se adapta al uso de la artillería, con la apertura de cañoneras y troneras.
Actualmente es una de la parte turística y cultural más importante de la preciosa Villa de Frías, que merece la pena parar, respirar y disfrutar de todo su entorno.