Imponente complesso di età tardo-medievale, il castello di Castrovillari venne fortemente ristrutturato nel 1490 per volontà del re Ferdinando d'Aragona, il quale giunto in Calabria per sedare l'infausta congiura dei Baroni, fece rinforzare alcuni castelli strategici, tra cui quelli di Corigliano, Pizzo e Belvedere Marittimo. Edificato quasi certamente sul sostrato di un fortilizio più antico di età sveva, il castello si erge sopra un istmo pianeggiante del borgo antico di Castrovillari, a strapiombo sulle valli del Coscile e del Fiumicello.
Il castello, adibito a carcere dal 1495 al 1995, si presenta come un unico blocco murario trapezoidale all'esterno e rettangolare all'interno, interrotto soltanto da quattro torri angolari cilindriche: quella meridionale ha una copertura conica ed è la più massiccia; diametralmente opposta è la torre più grande con copertura a terrazza resa invisibile all'esterno da un alto parapetto sollevato per permettere ai prigionieri di godere di passeggiate all'aperto. La torre a oriente è l'unica che può essere chiusa all'interno, fin dalla base, ed è ornata da una corona di mensole e archetti in tipico stile aragonese. L'ultima torre, la più piccola, è una piramide tronca a dodici lati con copertura a cono ed è provvista di feritoie. La cortina muraria del castello di Castrovillari ha un solo ingresso, un tempo munito di ponte levatoio, e nel lato di nord-est sono state recentemente praticate delle aperture per dare luce ai vani interni del castello. L'interno attualmente presenta un ampio arioso cortile in cui si aprono gli ingressi alle varie abitazioniSul portale una lapide in pietra particolare recante l'iscrizione: "Ad continendos in fides cives" del XV secolo, la stessa è stata riscontrata negli altri castelli calabresi costruiti o rinforzati da Ferdinando d'Aragona dopo la congiura dei Baroni. Tutte le iscrizioni terminano infatti con la data del 1490. Singolare anche la ripetitività dei fregi di queste lapidi con al centro lo stemma aragonese sostenuto da due putti realizzati in stile fiorentino del Quattrocento.
Vero e proprio fortilizio medievale, tozzo e massiccio, il castello aragonese di Castrovillari, adibito a carcere fino al 1995, per quanto sia stato di recente rimaneggiato, resta comunque uno dei castelli aragonesi meglio conservati in Calabria. Attualmente, sotto il patrocinio del comune di Castrovillari, si prepara ad una consistente opera di restaurazione