Istoria Castelului Leeds este destul de fascinantă și datează de peste 900 de ani. Prima piatră a castelului a fost pusă în 1119 de un baron normand, Robert de Crevecoeur, pe o insulă din râul Len. În 1278, regina Eleanor de Castilia, soția lui Edward I, a achiziționat castelul.
În următorii 300 de ani, castelul a rămas o reședință regală pentru diferiți regi și regine. În 1552, Anthony St. Leger a primit castelul de la Edward al II-lea în semn de recunoaștere a serviciilor sale în lupta împotriva revoltei din Irlanda.
Castelul Leeds Kent a fost transformat în reședință privată în secolul al XVII-lea. A fost o casă de țară din epoca bacoviană, un conac georgian, o retragere din secolul al XX-lea și o clădire istorică populară în Marea Britanie în secolul al XXI-lea. Când Lady Baillie a murit în 1974, castelul a fost lăsat unei organizații caritabile numită Leeds Castle Foundation. Sarcina lor principală a fost de a păstra castelul pentru generațiile viitoare.