Edificata dai normanni nell'anno 1052 sotto il dominio di Roberto il Guiscardo, la Torre di Altomonte apparteneva al primo sistema di difesa territoriale sviluppato dai normanni, che solo successivamente adottarono la costruzione di torri cilindriche come i saraceni. La torre, alta 25 metri circa fu rimaneggiata e quasi certamente terminata da Guglielmo Pallotta, signore di Brahalla, che nel 1269 ne fece una residenza apportando modifiche all'impianto originario.
Chiamata per questo Torre Pallotta, l'edificio si presenta come una possente struttura a base quadrata di impianto normanno ma con modifiche e apporti posteriori. L'uso della pietra squadrata posta sui quattro spigoli, e la cornice in pietra che scorre orizzontale sotto la finestra del secondo livello, denotano una prima contaminazione relativa al XIII° secolo. Anche la splendida bifora in tufo con archi ogivali, tipica dello stile gotico, risale ai primi del 1200. La Torre Pallotta ha subito modifiche importanti nel corso dei secoli. La scala attuale infatti è di costruzione recente, in precedenza il primo e secondo piano dovevano essere collegati da gradini in pietra, mentre al piano successivo si doveva accedere mediante pioli, o opportune applicazioni esterne. Dall'osservazione della facciata sud della Torre Pallotta, si evince la differenza di stili tra il piano inferiore tipicamente normanno e quello superiore di epoca successiva. Anche la diversa altezza dei piani della Torre è indice di cotruzioni differenti.
Il seminterrato della Torre Pallotta, una volta adibito a cisterna per la raccolta delle acque, oggi ospita mostre ed eventi culturali, presenta un pregievole soffitto con volte a botte. Interessanti gli interni delle finestre realizzati con squarci muniti di due panche inserite nelle murature, tipiche delle costruzioni normanne. La Torre normanna di Altomonte, detta del Pallotta, rimane comunque uno dei massimi esempi di architettura militare normanna anteriore dell'XI secolo.