Byggeriet af Tower of London strakte sig over århundreder, og det blev formet af vigtige bidrag fra forskellige monarker:

• 1078: Vilhelm Erobreren indvier Det Hvide Tårn. Efter den normanniske erobring i 1066 valgte Vilhelm I dette sted ved Themsen til at bygge et formidabelt stentårn. Under opsyn af Gundulf, biskop af Rochester, blev der brugt Caen-sten til opførelsen.
  
• 1190s: Richard I forbedrer den indre afdeling. I løbet af sin regeringstid fokuserede Richard Løvehjerte på at styrke tårnets forsvar. Han beordrede opførelsen af den indre ringmur, der omkranser Det Hvide Tårn, og tilføjede vigtige forsvarstårne som Klokketårnet, der er bygget med afrundede gotiske buer og tidstypiske vinduer.
  
• 1216-1272: Henrik III forvandler det til et kongeligt palads og tilføjer den ydre afdeling. Han foretog omkostningsfulde renoveringer og ændrede tårnets fokus i retning af et palads. Han konstruerede den ydre ringmur, en større befæstet indhegning. Denne udvidelse omfattede den kongelige mønt, våbenkammeret og andre bygninger. Thomas's Tower (senere kendt som Traitors' Gate), en storslået indgang ved floden, og Wakefield Tower til kongelige boliger.
  
• 1272-1307: Edward I befæster sig yderligere og tilføjer vigtige forsvarsstrukturer. Han var en berømt militærleder, og han er kendt for at have bygget det berygtede Blodige Tårn, en vigtig forsvarsstruktur og et fængsel. Han brugte også Tower Green som et privat henrettelsessted for højtstående fanger. Edward I færdiggjorde også voldgraven omkring tårnet.

Tower of London blev derfor ikke bygget af en enkelt person på én gang, men udviklede sig gennem århundreder gennem strategiske tilføjelser og ændringer bestilt af skiftende monarker.