Kolem roku 1068 postavil Vilém Dobyvatel dva valy korunované dřevěnými věžemi. Ta na tomto místě byla zničena při požáru během protižidovských povstání v roce 1190, kdy si 150 židů ukrývajících se v hradu vzalo život. Následně byla postavena znovu jako tvrz Yorkského hradu.