Il Castello venne costruito nel secolo XVI per volere di Fabrizio Malaspina, primo marchese di Terrarossa, per sostituire le funzioni residenziali di una vecchia fortificazione medievale. Anche il borgo di Terrarossa fu soggetto alle mutevoli condizioni politiche dei feudi malaspiniani i cui confini subirono continue modificazioni. Durante i secoli XV e XVI Terrarossa fece parte di diversi feudi malaspiniani tra i quali Olivola, Villafranca, Bastia, Filattiera e Monti subendo anche, nel 1416 e nel 1463, due occupazioni genovesi. Al 1581 risale l’istituzione del feudo indipendente di Terrarossa, assegnato a Fabrizio Malaspina che, dopo la morte dell’unico figlio maschio, decise di vendere il feudo al granduca di Toscana, il quale lo cede nel 1628 a Bernabò Malaspina di Filattiera. L’imponente castello, una delle più ampie residenze malaspiniane esistenti, venne realizzato su uno schema planimetrico quadrangolare con quattro baluardi atti alla difesa ed un ingresso sormontato da un arco in arenaria che conduce al cortile centrale sul quale si affacciano le sale coperte da volte a crociera per un complesso di 43 vani. La fabbrica di Terrarossa è talmente grande che il marchese ed i suoi successori non riuscirono a portarla a termine lasciando incompiuti diversi elementi architettonici tra i quali alcuni baluardi. Attualmente il Castello, inglobato in un edificio di civile abitazione denominato “Castelletto”, è sede di sale per convegni, di una foresteria e dell’ufficio per le informazioni turistiche