A Arties hi havia dos castells. Un era el conegut com el castell d’Entransaigües , l’emplaçament del qual no es coneix amb exactitud però de ben segur aixecat prop de l’actual Parador de Gaspar de Portolà a redós de la Garona i el Valarties.
L’altre castell d’Arties era el castell de Peralèr situat a la part més alta de la població. Fou aixecat gràcies a un privilegi que va atorgar el Pere III als templers i després concedit pel rei Alfons el Cast als hospitalers. Sembla que constava d’un recinte amb murs de defensa perimetrals que unien quatre torres situades als angles, amb un espai central on hi havia el pati d’armes i l’església parroquial de Santa Maria que es conserva en l’actualitat. En el mur de ponent s’alçava una torre-porta que és el testimon més important que poden veure. Dues de les muralles tenien 260 pams de llarg i una tercera 150 pams per més de 60 pams d’alçada, segons descriu Francisco de Gracia.
