Оксфордским замком называют большое, но частично разрушенное средневековое норманнское фортификационное сооружение. Записи в Абингдонской хроники информируют о том, что замок построил рыцарь Роберт д’Ойли, близкий соратник короля Вильгельма Завоевателя. Изначально это было деревянное сооружение, которое в середине XII столетия заменили постройками из камня.
В период баронских войн Оксфордский замок отыграл важную роль. Некоторое время в крепости укрывалась императрица Матильда, а завоевать неприступную твердыню пытался король Стефан. Выдержав трехмесячную осаду, Матильда в сопровождении нескольких верных ей людей совершила дерзкий побег из замка, после чего крепость пала перед монархом Стефаном.
Постепенно замок перестал быть важным военным объектом, с каждым годом все больше и больше разрушаясь. В эпоху Гражданской войны в нем некоторое время укрывались роялисты, но затем из крепости он превратился в тюрьму, где сначала содержали политических заключенных, а затем тех, кто нарушил закон и был наказан за это лишением свободы.
Последних узников из стен замка забрали лишь в 1996 году. В настоящее время сохранившиеся помещения Оксфордского замка используют для нужд одного из музеев города. Также здесь расположены торговый и деловой комплексы, а несколько камер оборудованы под гостиничные номера.
