En 1263 aparece nombrada Villarroya con un solo castillo a raíz de la donación de Jaime I de Aragón El Conquistador a su amante Doña Berenguela Fernández.
Pero a finales de este S. XIII está en construcción un nuevo castillo al oriente para cabida y protección en caso de necesidad de la mayor población, llamado popularmente del rey en mampuesto de piedra arenisca con sillares en las esquinas, frente al tapial de tierra del occidental, más antiguo o de la reina, con sus correspondientes recintos amurallados; además de la cabecera de la nueva iglesia, más capaz que la anterior (zona de piedra sillar) que se construye formando parte de la muralla.
Así pues, la configuración de la época sería similar a la actual en su casco antiguo, extendiéndose el caserío, con una altura de planta baja o planta y piso, por la laderas al Sur de las dos prominencias correspondientes a los actuales castillos.
Junto con la población de Villarroya coexisten otros núcleos menores dependientes de ella, habitados igualmente desde antiguo, e integrado el conjunto dentro de Comunidad de Aldeas de Calatayud, como son las de Vadillo y Horcajo, que por aquellas fechas plantean su desvinculación del núcleo principal sin que el proceso llegase a efecto.
El desplazamiento del frente de la reconquista hacia el Sur llevó consigo la fijación y aumento de la población en el municipio, a la par que se van definiendo claramente los límites entre reinos. Villarroya quedaba en una situación fronteriza en este punto de Aragón respecto al vecino de Castilla, cuya rivalidad creciente supuso la necesidad de fortificarse en condiciones, con capacidad intramuros para personas y ganados.

La tensión entre los reinos mencionados desembocó en continuas guerras que asolaron la frontera a mediados del siglo XIV. La más dura y sangrienta fue entre 1356 y 1369, la llamada guerra de los dos Pedros: I de Castilla y IV de Aragón, por lo que hubo fortificarse toda la frontera, y por supuesto Villarroya como punto estratégico en el valle del Ribota frente a la entrada de tropas castellanas.

El municipio configurado alrededor de los dos castillos fuertes con sus respectivos recintos, quedaría delimitado por una alta muralla tal como se ha conocido hasta bien entrado el siglo XX, conservando abundantes restos y que tendría el siguiente recorrido:
Las traseras de las edificaciones a lo largo de la actual calle Real Alta; fachadas del Pº Joaquín Costa con la lateral del Ayuntamiento; lateral de la Iglesia Parroquial para continuar por la pared entre el teatro Lorente y hospital de San Marcos; traseras de las viviendas en la calle Real Baja; fachadas de los edificios frente al frontón; fondo de los corrales y almacenes de la Calle Barranco; siguiendo tangente a uno de los recintos exteriores del castillo del rey; tramos existentes el la plaza de toros La Dula; lateral del castillo de la reina; los conservados en el Somantano (somontano); y enlazar con el descrito en primer lugar. El municipio configurado alrededor de los dos castillos fuertes con sus respectivos recintos, quedaría delimitado por una alta muralla tal como se ha conocido hasta bien entrado el siglo XX, conservando abundantes restos y que tendría el siguiente recorrido:
Las traseras de las edificaciones a lo largo de la actual calle Real Alta; fachadas del Pº Joaquín Costa con la lateral del Ayuntamiento; lateral de la Iglesia Parroquial para continuar por la pared entre el teatro Lorente y hospital de San Marcos; traseras de las viviendas en la calle Real Baja; fachadas de los edificios frente al frontón; fondo de los corrales y almacenes de la Calle Barranco; siguiendo tangente a uno de los recintos exteriores del castillo del rey; tramos existentes el la plaza de toros La Dula; lateral del castillo de la reina; los conservados en el Somantano (somontano); y enlazar con el descrito en primer lugar.