Leeds Kalesi'nin tarihi oldukça etkileyicidir ve 900 yılı aşkın bir geçmişe dayanmaktadır. Kalenin ilk taşı 1119 yılında bir Norman baronu olan Robert de Crevecoeur tarafından Len nehrindeki bir adaya yerleştirilmiştir. 1278 yılında I. Edward'ın eşi Kastilya Kraliçesi Eleanor kaleyi satın almıştır.
Sonraki 300 yıl boyunca Kale, farklı kral ve kraliçeler için bir Kraliyet konutu olarak kaldı. 1552 yılında Anthony St. Leger, İrlanda'daki ayaklanmaya karşı savaşta verdiği hizmetlerden dolayı kaleyi Edward II'den almıştır.
Leeds Castle Kent, 17. yüzyılda özel bir konuta dönüştürülmüştür. Jacobean kır evi, Georgian malikanesi, 20. yüzyılda bir sığınak ve 21. yüzyılda Britanya'da popüler bir tarihi binaydı. Lady Baillie 1974 yılında öldüğünde, kale Leeds Kalesi Vakfı adlı bir hayır kurumuna bırakılmıştır. Ana görevleri kaleyi gelecek nesiller için korumak olmuştur.