Lang voordat het middeleeuwse kasteel er stond, bouwden de Romeinen kort na 43 n.Chr. een vuurtoren op de heuvel. Het staat bekend als de Romeinse Pharos en is nog steeds een van de best bewaarde Romeinse bouwwerken in Engeland en een van de slechts drie overgebleven Romeinse vuurtorens uit het voormalige Romeinse Rijk.