Początki osady sięgają XI wieku. Na jednym ze wzgórz istniała osada zwana Wietrzną Górą, należąca do zakonu benedyktynów. W 1181 roku Kazimierz Sprawiedliwy przekazał osadę norbertankom z podkrakowskiego Zwierzyńca. Norbertanki zmieniły nazwę osady na Kazimierz (imię darczyńcy). Nazwa została odnotowana w kronikach po raz pierwszy w 1249 roku, a przymiotnik „Dolny” został dodany w latach późniejszych, w celu odróżnienia osady od leżącego w górnym biegu rzeki Kazimierza, założonego pod Krakowem. Po około 150 latach osada i okoliczne wsie stały się dobrami korony.