La costruzione del castello di Pizzo Calabro è legata agli eventi storici del periodo aragonese in Calabria. Venne infatti edificato nel XV° secolo per volere del re Ferdinando d'Aragona, giunto in Calabria per sedare la sanguinosa rivolta dei Baroni, ordita contro di lui da alcuni feudatari locali come Carlo Sanseverino, conte di Mileto e feudatario di Pizzo. Il re aragonese fece quindi potenziare i castelli dei feudi rivoltosi come Castrovillari, Corigliano e Belvedere Marittimo, e nel 1487 edificare il nuovo castello di Pizzo.
L'antico castello, completato nel 1492, conserva ancora oggi i suoi volumi compatti, costituiti da un massiccio corpo quadrangolare affiancato da due torri a tronco conico che danno verso l'abitato. La sua parte trapezoidale è invece a picco sul mare anche se la muratura appare un po degradata ed intaccata dalla vegetazione. All'esterno è decorato da un redondone in pietra che divide la base scarpata dalla parte superiore. Il portone d'ingresso del castello è fornito di ponte levatoio e sul portale c'è una lapide a memoria di Gioacchino Murat.
Le antiche carceri cinquecentesche sono costituite da cinque vani ricoperti a volta, con aperture verso il mare e verso il centro abitato. Tra gli interventi subiti dal castello di Pizzo vi è stato il rifacimento delle camere superiori in seguito al terremoto del 1783. Inoltre nel periodo francese, fu aggiunta una batteria in direzione del mare, a difesa della zona costiera.
Il castello divenne famoso perché vi fu prima rinchiuso e poi fucilato, il 13 ottobre 1815, Gioacchino Murat. Fedelissimo di Napoleone, Gioacchino Murat era riuscito a conquistare il Regno di Napoli e il suo governo aveva portato buoni esiti sia in campo amministrativo che nel miglioramento dell'istruzione. Ma dopo la sconfitta di Waterloo, il declino di Napoleone travolse anche lui che nel 1815 tentò di riconquistare il Regno con uno sbarco sulle coste della Calabria. Arrestato dai soldati di Ferdinando IV° di Borbone, fu rinchiuso nel castello di Pizzo e poi fucilato. Il castello divenne noto per queste vicende e fu meta di vari viaggiatori tra i quali Alexandre Dumas, che nell'autunno del 1835, durante il suo tour dell'Italia meridionale, volle visitare la prigione e il luogo dove Gioacchino Murat aveva vissuto i suoi ultimi giorni.