Es uno de los lugares más emblemáticos y más visitados de Agres. La historia de este convento empieza en el 31 de agosto de 1484 en la ciudad de Alicante. Este día se produjo un incendio en la Iglesia de Santa María donde, a causa del mismo, todo el retablo del Altar Mayor se quemó. En él se encontraba la imagen de la Virgen que desapareció por una de las ventanas de la Iglesia por detrás del castillo de Santa Bárbara, suceso que testimonian los marineros del puerto. En la madrugada del 1 de septiembre, esa misma imagen se apareció encima de un Almez en las ruinas del Castillo de Agres a un pastor que apacentaba el rebaño por ese lugar.
Cuenta la tradición que ese pastor, llamado Gaspar Tomás, le faltaba un brazo y la Virgen como gracia y testimonio de su presencia se lo devolvió. Gozoso bajó al pueblo y comunicó la buena nueva. Fue al principio de la gran devoción que se le tiene a la Virgen del Castillo. A partir de esta aparición, se construyó una pequeña ermita en dicho lugar, pero fue en 1578 cuando el Padre Franciscano Jerónimo Vidal funda el Convento de Padres Franciscanos.
Desde entonces, la presencia franciscana en este santuario ha sido muy importante pues a ellos se les debe la construcción del convento que existe en nuestro días.