Il Castello di Pietrapertosa sorge nel punto più alto del borgo, arroccato sulla cima della roccia cui è aggrappato il rione de L'Arabata.

In seguito ad alcuni scavi archeologici, sono state portate alla luce testimonianze medioevali (come una necropoli e un piccolo trono in legno), oltre che consolidate alcune parti del Castello scavate nella roccia friabile.

Tre diverse fasi di ampliamento hanno interessato il Castello, riscontrabili grazie ai resti di altrettante facciate. Una scalinata scavata nella roccia, ancora oggi visibile, conduceva nel punto più alto della vetta su cui sorge il Castello, consentendo un ampio avvistamento sul territorio.

I resti della cinta muraria testimoniano l'uso di una tecnica costruttiva medioevale, caratterizzata dall'uso di "diatoni" in legno, piccole travi infisse trasversalmente nelle mura secondo una precisa geometria che migliorava l'efficienza delle murature.