Historia pałacu sięga XVII wieku. Wzniósł go w latach 1671-1679 marszałek wielki koronny Stanisław Herakliusz Lubomirski, jednakże w trakcie Potopu Szwedzkiego uległ on zniszczeniu. Odbudowę pałacu rozpoczęła w 1722 Elżbieta Helena Sieniawska. Wkrótce po tym gdy Zofia Sieniawska wyszła za Augusta Czartoryskiego na resztkach spalonego pałacu, w latach 1731-36 powstał nowy pałac w stylu rokokowym. Wiek Czartoryskich w Puławach skończył się w 1831. Książę Adam Jerzy Czartoryski, właściciel Puław od 1812, za udział w powstaniu listopadowym został przez cara zaocznie skazany na ścięcie toporem, a wszystkie jego majątki w zaborze rosyjskim uległy konfiskacie. Od 1842 roku w pałacu rezydowały różne instytucje publiczne.