Budowa Tower of London trwała wieki, a kluczowy wkład w jej kształtowanie wnieśli różni monarchowie:

• 1078: Wilhelm Zdobywca inicjuje budowę Białej Wieży. Po normańskim podboju w 1066 r. Wilhelm I wybrał to miejsce nad Tamizą, aby zbudować potężną kamienną twierdzę. Nadzorowana przez Gundulfa, biskupa Rochester, została zbudowana z kamienia Caen.
  
• 1190s: Ryszard I wzmacnia oddział wewnętrzny. Podczas swoich rządów Ryszard Lwie Serce skupił się na wzmocnieniu obrony Wieży. Nakazał budowę wewnętrznego muru kurtynowego otaczającego Białą Wieżę i dodał kluczowe wieże obronne, takie jak Dzwonnica, zbudowana z zaokrąglonymi gotyckimi łukami i oknami typowymi dla epoki.
  
• 1216-1272: Henryk III przekształca go w pałac królewski i dodaje oddział zewnętrzny. Podjął kosztowne renowacje, przesuwając punkt ciężkości Wieży w kierunku pałacu. Zbudował zewnętrzne mury kurtynowe, większe ufortyfikowane ogrodzenie. Rozbudowa obejmowała Mennicę Królewską, Zbrojownię Królewską i inne budynki. Zbudował także Wieżę Świętego Tomasza (później znaną jako Brama Zdrajców), wielkie wejście nad rzekę, oraz Wieżę Wakefielda na królewskie kwatery.
  
• 1272-1307: Edward I dalej się fortyfikuje, dodając kluczowe struktury obronne. Znany przywódca wojskowy, przypisuje mu się budowę niesławnej Krwawej Wieży, znaczącej struktury obronnej i więzienia. Używał on również Tower Green jako prywatnego miejsca egzekucji wysoko postawionych więźniów. Edward I ukończył również fosę otaczającą Wieże.

Tower of London nie została zatem zbudowana przez jedną osobę w jednym czasie, ale ewoluowała przez wieki poprzez strategiczne dodatki i modyfikacje zarządzone przez kolejnych monarchów.