Wybudowany przez Tomasza Tadeusza Pruszaka ok. 1793 r., w stylu klasycystycznym, budynek służył od początku jako letnia rezydencja arystokracji (Pruszakowie), magnaterii (Sapiehowie), burżuazji (Natansonowie) i ziemiaństwa (Dziewulscy). W 1882 r. Natansonowie dostawili przybudówki do skrzydła północnego i części wschodniej pałacu. Ostateczny kształt pałac zyskał w latach 1916-1925 w wyniku remontu budynku. Gościem pałacu był osiemnastoletni Fryderyk Chopin, gdzie pracował nad dwoma utworami: Rondo C-dur i Trio g-moll.