L’attuale castello di Podenzana, non lontano dal santuario della Madonna del Gaggio o della Neve, è il risultato di una totale ricostruzione in cemento armato risalente agli anni ’50 del Novecento. Il primo riscontro scritto del castello risale a un documento di fondazione dell’abbazia di Aulla nell’884. Il castello e il borgo di Podenzana furono a lungo contesi tra il vescovo-conte di Luni e i Malaspina durante il XII secolo fino a quando, con l’accordo stipulato tra le parti nel 1201, i Malaspina vennero obbligati a demolire il castello col divieto di qualunque ricostruzione di opere fortificate. Passato quindi agli stessi Malaspina nel corso del XIII secolo, solo nel 1536, dopo le ripetute occupazioni dei genovesi del 1416 e del 1449, Podenzana divenne feudo indipendente. Agli inizi del XVIII si verificarono nuovi ingenti danni alle strutture del castello, devastato dal fuoco e dalle mine delle artiglierie nemiche a causa della guerra di successione spagnola.
Il castello, di proprietà privata, non è aperto al pubblico.