Na mestu današnjega tivolskega gradu je že leta 1267 stal obrambni stolpimenovan tivolski Turn, leta 1442 ga je v bojih za Ljubljano požgala vojska celjskega grofa Ulrika II.

Lastnik zemljišča, baron Jurij Apflater, je dal pod razvalinami sezidati nov dvorec, ki so ga poimenovali Podturn (nekaj časa tudi Podrožnik). Kasneje je ta zamenjal več lastnikov. Leta 1601 so ga kupili ljubljanski jezuiti in ga nadomestili z novo grajsko stavbo, služil je tudi kot letna rezidenca ljubljanskega škofa.

Leta 1865 je grad kupilo mesto. V tem času so zgradili bazen z vodometom in stopnišče s slovitimi litoželeznimi kipi psov. Te je okrog leta 1870 izdelal kipar Anton Dominik Fernkorn. Umetnik, ki je podobe živali zasnoval skrajno natančno in realistično, je pri tem pozabil na jezike. Legenda pravi, da ga je, ko so bili kipi že končani, nekdo na to opozoril. Umetnik naj bi iz samega obupa naredil samomor. To je urbana zgodba, ki prehaja med generacijami.