Il "castrum de Amelia" è elencato tra i possedimenti riconosciuti al vescovo di Luni nel diploma dell'imperatore Ottone Iº del 963. Dell'antica fortificazione, posta alla sommità del paese, rimangono i resti delle mura e la torre di difesa circolare, che furono successivamente incorporati nel palazzo-castello, eretto nel XIII secolo, fino al 31 marzo 2008 è stato sede dell'Amministrazione comunale.
Il complesso, a pianta rettangolare, presenta una torre circolare e una cinta muraria trapezioidale che racchiude i diversi settori della fortezza. La corte, recentemente restaurata, é utilizzata come suggestivo palcoscenico per gli spettacoli estivi.
Trasferimento Uffici Comunali