Na wysokim wzniesieniu, we wschodniej części miasta dominują ruiny zamku z potężną, XIII-wieczną basztą, która z czasem stała się symbolem Iłży.