És un dels llocs més emblemàtics i visitats d’Agres. La història d’aquest convent comença en el 31 d’agost de 1484 a la ciutat d’Alacant. Aquest dia es va produir un incendi a l’Església de Santa María on, a causa del mateix, tot el retaule de l’Altar Major es va cremar. En ell es trobava la imatge de la Verge que va desaparèixer per una de les finestres de l’Església per darrere del castell de Santa Bàrbara, succés que testimonien els mariners del port. En la matinada de l’1 de setembre, aquella mateixa imatge es va aparèixer damunt d’un lledoner en les ruïnes del Castell d’Agres a un pastor que pasturava el ramat per aquell lloc.
Compta la tradició que a aquell pastor, anomenat Gaspar Tomás, li faltava un braç i la Verge com a gràcia i testimoniatge de la seua presència li’l va retornar. Gojós va baixar al poble i va comunicar la bona nova. Va ser el principi de la gran devoció que se li té a la Mare de Déu del Castell. A partir d’aquesta aparició, es va construir una xicoteta ermita en aquest lloc, però va ser en 1578 quan el pare franciscà Jerònim Vidal funda el Convent de Pares Franciscans.
Des de llavors, la presència franciscana en aquest santuari ha sigut molt important doncs a ells se’ls deu la construcció del convent que existeix als nostre dies.