Edificato a partire dal 1628, il Palazzo Pontificio o Palazzo Apostolico, si trova sull’antico Castrum Gandulphorum, il castello feudale dei Gandolfi e dei Savelli. Fa parte dell’area extraterritoriale delle Ville Pontificie di Castel Gandolfo, più grande dello stesso Stato Vaticano. Ex residenza papale suburbana, venne definito da Papa Giovanni Paolo II "Vaticano due", in quanto i pontefici erano soliti recarsi a Castel Gandolfo durante i periodi di riposo o almeno una volta l'anno, d'estate.

Il palazzo ha visto i decessi dei papi Pio XII e Paolo VI, rispettivamente nel 1958 e 1978.

Fu fatto costruire da Papa Urbano VIII ma l’attuale aspetto gli fu conferito a tempo di Papa Alessandro VII. A partire dalla fine dello stato pontificio nel 1870, il palazzo venne abbandonato dai papi, così come tutte le altre abitazioni detenute al di fuori di Roma, per ritirarsi in Vaticano come segno di protesta contro lo Stato italiano.

Vanta di un parco meraviglioso di circa 55 ettari e ospita un osservatorio astronomico - o specola vaticana - e i resti della villa di Domiziano.

Di notevole valore è, al suo interno, la Cappella Privata dove è custodita l'immagine della Madonna del Santuario di Częstochowa.

Dal 2006 è un museo di proprietà della Santa Sede, per decisione di Papa Francesco.

Nel 2014 ha ottenuto, oltre al privilegio di extraterritorialità, l'esenzione da espropriazioni e da tributi.