La leyenda histórica de Los Infantes de Lara marca la primera referencia en el tiempo de Almenar. También se han encontrado documentos en los que, al parecer, Jaime I de Aragón concede el dominio de la localidad a uno de sus caballeros catalanes en el siglo XIII.
Pero será ya en 1430 cuando Juan II de Castilla asigna el castillo y el término a Hernán Bravo de Lagunas, caballero embajador que prestó grandes servicios como embajador de la Corona en Portugal. Bravo de Lagunas será, pues, el primer Señor del Almenar. Su hijo, también llamado Hernán mantendrá el señorío desde 1452. Fue sucedido por su hija doña Juana, fallecida sin descendencia, circunstancia que hizo que el fortín pasase al dominio de Beatriz Bravo de Lagunas su tía carnal. Beatriz Bravo había contraído nupcias con el regidor de Soria, Juan de Saravia. Es esta unión la que se constata en la heráldica blasonada del castillo, sobre su puerta principal.
El edificio acogió, entre otros personajes insignes, al rey Carlos II “El Hechizado” en 1677, y al matrimonio real de Felipe V con su esposa María Luisa de Saboya, en 1702. Gustavo Adolfo Bécquer escenificó dos de sus relatos en el castillo. Así mismo, la que fuera esposa de Antonio Machado, Leonor Izquierdo, vio la primera luz de su vida en las dependencias de esta construcción. Era el 12 de junio de 1894.