Historia zamku w Leeds jest dość fascynująca i sięga ponad 900 lat wstecz. Pierwszy kamień pod budowę zamku został położony w 1119 roku przez normańskiego barona Roberta de Crevecoeur na wyspie na rzece Len. W 1278 roku zamek nabyła królowa Eleonora Kastylijska, żona Edwarda I.
Przez następne 300 lat zamek pozostawał królewską rezydencją dla różnych królów i królowych. W 1552 roku Anthony St. Leger otrzymał zamek od Edwarda II w uznaniu jego zasług w walce z powstaniem w Irlandii.
Zamek Leeds Kent został przekształcony w prywatną rezydencję w XVII wieku. Był to wiejski dom w stylu jakobińskim, georgiańska rezydencja, XX-wieczne miejsce odosobnienia i popularny historyczny budynek w Wielkiej Brytanii w XXI wieku. Kiedy Lady Baillie zmarła w 1974 roku, zamek został przekazany organizacji charytatywnej o nazwie Leeds Castle Foundation. Ich głównym zadaniem była konserwacja zamku dla przyszłych pokoleń.