De plek is al ouder dan het kasteel zelf. In 914 n.Chr. bouwde Æthelflæd, de dochter van Alfred de Grote, hier een verdedigingsfort om de Vikingplunderaars langs de rivier de Avon af te slaan. Al lang voordat de Noormannen arriveerden, werd deze plek, die de rivieroversteek en de Fosse Way bewaakte, al als strategisch cruciaal beschouwd, waardoor de geschiedenis van deze plek meer dan 1.100 jaar teruggaat.