Il palazzo che oggi appare come un tutto unico anche se non omogeneo (il portone d’accesso e l’imponente balcone che lo sovrasta sono fuori centro), è invece frutto di successivi ritocchi, ampliamenti e rifacimenti, come d’altra parte, può essere considerata frutto di rifacimenti la stessa struttura originale del palazzo, realizzata da Alberico I Cybo, nipote di papa Innocenzo VIII, nel 1563, cioè sei anni dopo la fondazione di Massa, a ridosso di una casa che la famiglia già possedeva nel luogo e che pertanto può essere considerata la struttura originale del palazzo. A quei tempi già esistevano una via Bagnara (oggi Via dei Guidoni) e una Piazza Aranci, diventata tale dopo la distruzione avvenuta nel 1807 della chiesa omonima e dopo che nel 1819 vennero piantati gli aranci intorno alla piazza. Nel 1567 SS. Ilma diede l’accrescimento al palazzo Bagnara, cioè l’alzo nella maniera in cui adesso si ritrova. Il nuovo palazzo, costò 460 scudi d’oro e comprendeva la parte che partendo dall’angolo sinistro arrivava fino alla sala quadrata, contando solo 9 finestre. Non c’era ancora tutta la parte al di sotto del balcone e comprendente il salone che solo dal 1900 cominciò a chiamarsi “degli Svizzeri”. Fu Carlo I, successore di Alberico, che realizzò questa parte del Palazzo che si trovò così ad avere un lato lungo sulla piazza S. Pietr-Aranci, ed uno corto (la casa originale anche se rialzata), su via Bagnara-Guidoni. Nel 1664-65, Alberico II, che succedette a Carlo I, prolungò l’ala di via Bagnara in modo da farla diventare lunga come l’altra e realizzò anche, con l’aiuto del fratello Alderano, segretario di Stato di papa Innocenzo XI, l’ala di piazza Mercurio munendo le due ali terminali delle due scalinate in marmo che ancora esistono. La moglie di Carlo II, Teresa Pamphili, attorno al 1697-98 e successivamente nel 1703-04, decise un primo rifacimento perché ritenne il palazzo ancora troppo basso e con pochi appartamenti. Fu la stessa duchessa a volere il palazzo dipinto di rosso e di bianco, colori simbolo della suprema dignità ecclesiastica che resero insegne la casata, e a volere anche il “Grottesco” o “Grotta del Nettuno” così come il loggiato interno con le scale amplissime e le sue 100 colonne che lo rendono tanto caratteristico.