Il prestigioso palazzo deriva la sua dedicazione da Monsignor Girolamo Gavi, prima Vicario Capitolare (1840-1846), poi amministratore apostolico e infine quarto Vescovo di Livorno (1848-1869), che tanto si prodigò per la fondazione del seminario stesso. L’edificio, costruito tra il 1846 e il 1851 su progetto dell’architetto Gaetano Gherardi, sorge nell’area che era stata occupata dal “Camposanto Nuovo”, il cimitero realizzato nel 1775 su progetto di Ignazio Pellegrini, rimasto inutilizzato dal 1804. Sviluppandosi intono al suo antico impianto originale a pianta quadrangolare, la realizzazione del progetto di edificazione comportò l’abbattimento delle cappelle cimiteriali, ma lasciò praticamente inalterato il colonnato su cui  furono impostati i locali destinati ad ospitare il Seminario, costruiti ex novo insieme alla facciata; all’interno della struttura fu realizzata una Cappella pubblica dedicata ai Dottori della Chiesa d’Occidente e d’Oriente, raffigurati sulle pareti, dove attualmente è ospitata parte dell’esposizione museale.

Pensato esclusivamente come sede del Seminario, già pochi anni dopo la sua apertura, il palazzo si trovò ad ospitare anche altre istituzioni. Nel 1853, grazie all’acquisizione di una collezione di circa 12.000 volumi di diritto civile, criminale e canonico  donati da Giuseppe Michon, il Seminario istituì una propria Biblioteca che, per volere dello stesso benefattore, fu aperta anche ai cittadini; successivamente la raccolta fu accresciuta dai libri di teologia, letteratura, scienze ed arte donati da Monsignor Gavi e da alcuni Canonici della Cattedrale assumendo così il ruolo di rilevante centro culturale della città livornese. Intorno al 1870, il piano superiore ai lati della facciata fu destinato ad abitazione del Vescovo,  divenendo da quella data anche sede dell’Episcopio. Nel 1875 parte dei locali vennero adibiti ad ospitare il Collegio Gavi, aperto a giovani esterni e dotato di una propria scuola, frequentata anche dai seminaristi. Nel 1978, la Cancelleria vescovile, sino ad allora sita dietro il Duomo, fu trasferita al piano terreno dell’edificio, dove ancora oggi si trova insieme agli altri Uffici della Curia.

Allo scadere del XIX secolo il Seminario e il Collegio furono chiusi per le difficoltà economiche; dopo un breve periodo, il Seminario fu  riaperto e continuò a funzionare fino a quando non fu distrutto quasi completamente dai bombardamenti del secondo conflitto mondiale (23 novembre 1943); completato il restauro dell’immobile, il 21 novembre 1952, il Vescovo Giovanni Piccioni inaugurava una nuova stagione dell’Istituto che, dopo temporanei trasferimenti in sedi diverse, ha visto la chiusura definitiva con il termine dell’anno accademico 2018-2019.

Attualmente, l’edificio, oltre ad essere la sede dell’Episcopio e degli Uffici di Curia, accoglie le tre grandi istituzioni diocesane: l’Archivio Storico, la Biblioteca e il Museo.