La historia del castillo de Leeds es bastante fascinante y se remonta a más de 900 años. La primera piedra del castillo fue colocada en 1119 por un barón normando, Robert de Crevecoeur, en una isla del río Len. En 1278, la reina Leonor de Castilla, esposa de Eduardo I, adquirió el castillo.
Durante los 300 años siguientes, el castillo siguió siendo residencia real de distintos reyes y reinas. En 1552, Anthony St. Leger recibió el castillo de manos de Eduardo II en reconocimiento a sus servicios en la batalla contra la sublevación de Irlanda.
El castillo de Leeds Kent se convirtió en residencia privada en el siglo XVII. Fue una casa de campo jacobina, una mansión georgiana, un refugio del siglo XX y un popular edificio histórico de Gran Bretaña en el siglo XXI. Cuando Lady Baillie murió en 1974, el castillo fue legado a una organización benéfica llamada Fundación del Castillo de Leeds. Su principal tarea ha sido preservar el castillo para las generaciones futuras.