Tower of London ble bygget gjennom flere århundrer, og ulike monarker bidro til å forme det:

• 1078: Vilhelm Erobreren innvier Det hvite tårnet. Etter normannernes erobring i 1066 valgte Vilhelm I dette stedet ved Themsen for å bygge en formidabel borg av stein. Biskopen av Rochester, Gundulf, hadde oppsyn med byggingen, som ble utført i Caen-stein.
  
• 1190s: Richard I forbedrer den indre avdelingen. I løpet av sin regjeringstid fokuserte Rikard Løvehjerte på å styrke tårnets forsvarsverk. Han beordret byggingen av den indre ringmuren, som omkranser Det hvite tårnet, og la til viktige forsvarstårn som Klokketårnet, bygget med avrundede gotiske buer og tidstypiske vinduer.
  
• 1216-1272: Henrik III forvandler det til et kongelig palass og legger til den ytre avdelingen. Han foretok kostbare Renoveringer, og Tårnet ble omgjort til et palass. Han konstruerte den ytre ringmuren, en større befestet innhegning. Denne utvidelsen omfattet blant annet det kongelige myntverket, Våpenlageret og andre bygninger. Thomas's Tower (senere kjent som Traitors' Gate), en storslått inngangsport ved elvebredden, og Wakefield Tower for kongelig innkvartering.
  
• 1272-1307: Edvard I befester byen ytterligere og legger til viktige forsvarsstrukturer. Han var en anerkjent militær leder, og han er kjent for å ha bygget det beryktede Blodige Tårnet, en viktig forsvarsstruktur og et fengsel. Han brukte også Tower Green som et privat henrettelsessted for høytstående fanger. Edvard I fullførte også vollgraven rundt Tårnet.

Tower of London ble derfor ikke bygget av én enkelt person på én gang, men utviklet seg gjennom århundrer gjennom strategiske tilføyelser og modifikasjoner beordret av skiftende monarker.