В годы Великой Отечественной войны крепость была оккупирована нацистами, которые устроили в ней концлагеря. При отступлении в 1944 году немцы взорвали шесть угловых башен, стены и внутренние постройки, нанеся памятнику колоссальный урон. Масштабная реставрация началась в 1960-х и продолжается по сей день.