Niegdyś w miejscu obecnego zamku znajdował się podobno gródek rozbójników, napadających na przejeżdżających kupców. Książę opolski Kazimierz zdobył warownię, wytępił rabusiów, a na miejscu ich gródka w XIII wieku zbudował zameczek.