Imponente complesso di età tardo-medievale, il castello di Castrovillari fu fortemente ristrutturato nel 1490 per volontà del re Ferdinando d'Aragona, il quale giunto in Calabria per sedare la congiura dei Baroni, fece rinforzare alcuni castelli strategici, tra cui quelli di Corigliano, Pizzo e Belvedere Marittimo. Edificato quasi certamente sul sostrato di un fortilizio più antico di età sveva, il castello si trova su un istmo pianeggiante del borgo antico di Castrovillari, a strapiombo sulle valli del Coscile e del Fiumicello.
Il castello, adibito a carcere dal 1495 al 1995, si presenta come un unico blocco murario trapezoidale all'esterno e rettangolare all'interno, interrotto soltanto da quattro torri angolari cilindriche: quella meridionale ha una copertura conica ed è la più massiccia; diametralmente opposta è la torre più grande con copertura a terrazza resa invisibile all'esterno da un alto parapetto sollevato per permettere ai prigionieri di godere di passeggiate all'aperto. La torre a oriente è l'unica che può essere chiusa all'interno, fin dalla base, ed è ornata da una corona di mensole e archetti in tipico stile aragonese. L'ultima torre, la più piccola, è una piramide tronca a dodici lati con copertura a cono ed è provvista di feritoie.
La cortina muraria del castello di Castrovillari ha un solo ingresso, un tempo munito di ponte levatoio, e nel lato di nord-est sono state recentemente praticate delle aperture per dare luce ai vani interni del castello. Sul portale una lapide in pietra particolare recante l'iscrizione: "Ad continendos in fides cives" del XV° secolo, la stessa è stata riscontrata negli altri castelli calabresi costruiti o rinforzati da Ferdinando d'Aragona dopo la congiura dei Baroni. Tutte le iscrizioni terminano infatti con la data del 1490. Singolare anche la ripetitività dei fregi di queste lapidi con al centro lo stemma aragonese sostenuto da due putti realizzati in stile fiorentino del Quattrocento.
Il castello aragonese di Castrovillari, adibito a carcere fino al 1995, è comunque uno dei fortilizi aragonesi meglio conservati in Calabria e attualmente, sotto il patrocinio del comune, si prepara ad una consistente opera di restaurazione per essere restituito agli antichi splendori.