Tullgarnsslott har sina rötter på 1500-talet, då platsen tillhörde släkten Gyllenstierna. På 1720-talet lät friherre Magnus Julius De la Gardie uppföra den nuvarande huvudbyggnaden i barockstil som stod klar år 1727, senare ombyggd med gustavianska inslag.
Under slutet av 1700-talet ägdes slottet av hertig Fredrik Adolf, bror till Gustav III, som förfinade inredningen.
På 1800- och 1900-talet blev Tullgarns mest känt som sommarresidens för kung Gustaf V och drottning Viktor
