La storia del Castello di Leeds è molto affascinante e risale a oltre 900 anni fa. La prima pietra del castello fu posta nel 1119 da un barone normanno, Robert de Crevecoeur, su un'isola del fiume Len. Nel 1278, la regina Eleonora di Castiglia, moglie di Edoardo I, acquistò il castello.
Nel corso dei 300 anni successivi, il castello rimase una residenza reale per diversi re e regine. Nel 1552, Anthony St. Leger ricevette il castello da Edoardo II in riconoscimento dei suoi servizi nella battaglia contro la rivolta in Irlanda.
Il Leeds Castle Kent fu trasformato in una residenza privata nel XVII secolo. È stata una casa di campagna giacobina, una dimora georgiana, un rifugio del XX secolo e un edificio storico popolare in Gran Bretagna nel XXI secolo. Quando Lady Baillie morì nel 1974, il castello fu lasciato a un ente di beneficenza chiamato Leeds Castle Foundation. Il loro compito principale è stato quello di preservare il castello per le generazioni future.