Bien avant la construction du château médiéval, les Romains avaient érigé un phare sur cette colline peu après l'an 43 après J.-C. Connu sous le nom de « Pharos romain », il reste l'un des édifices romains les mieux conservés d'Angleterre et l'un des trois seuls phares romains encore existants de l'ancien Empire romain.