Lange bevor die mittelalterliche Burg entstand, errichteten die Römer kurz nach dem Jahr 43 n. Chr. auf dem Hügel einen Leuchtturm. Er ist als „Roman Pharos“ bekannt und gilt nach wie vor als eines der am besten erhaltenen römischen Bauwerke in England sowie als einer von nur drei erhaltenen römischen Leuchttürmen aus dem ehemaligen Römischen Reich.