U podnóża Gór Złotych, na skalnym cyplu nad zakolem rzeki Białej Lądeckiej, już w XIV wieku wzniesiono zamek rycerski.