Abia in anul 1248 castelul ajunge in mainile fortelor castiliene, intr-o zi de 4 Decembrie, cand se sarbatorea Sfanta Barbara, motiv pentru care a si primit acest nume.
Castelul nu a avut o soarta prea usoara, fiind bombardat la un moment dat de o escadrila franceza sau intrand sub dominatie engleza pentru trei ani. Cert e ca, de-a lungul timpului, a fost reconstruit de mai multe ori, sub diferite conduceri.
Castelul a fost deschis publicului larg in 1963, iar de atunci au aparut si facilitati precum un lift (2.75 euro biletul) care a fost amenajat in munte si care te poat duce pana la castel.