Kiedyś była tu zbójecka czatownia, potem powstał drewniany gród, który w 1241 roku został spalony przez Tatarów.
Na jego miejscu za czasów króla Kazimierza Wielkiego zbudowano kamienny zamek w stylu gotyckim. Zamek był fundacją królewską, a jego pierwszym dzierżawcą był rycerz Przedbórz z Brzezia herbu Zadora. W 1386 roku król Władysław Jagiełło nadał warownię cześnikowi krakowskiemu Włodkowi z Charbinowic herbu Sulima.
W XVI wieku zamek przejęli Bonerowie i przebudowali w renesansową rezydencję, która była nazywana Małym Wawelem. W XVII wieku zamek przeszedł we władanie Jana Firleja, który urządził wnętrza w stylu barokowym.
W 1587 roku austriacki arcyksiążę Maksymilian, wykorzystując bezkrólewie w Polsce, postanowił zagarnąć tron Rzeczpospolitej i wraz z armią wkroczył do Polski. Zdobył wówczas zamek w Ogrodzieńcu, zrabował wyposażenie i zgromadzone tam kosztowności mieszczan olkuskich. Później zamek wielokrotnie zmieniał właścicieli.
W 1664 roku zakupił warownię kasztelan krakowski Stanisław Warszycki, który słynął z gospodarności i patriotyzmu, ale również z okrucieństwa. Został on przeklęty przez prostych ludzi. Legenda mówi, że został żywcem porwany do piekła, skąd powraca pod postacią Czarnego Psa.
W czasie potopu szwedzkiego zamek zdobyli Szwedzi i zniszczyli go, ale Warszycki zdołał go częściowo odbudować. Warownia poważniej ucierpiała dopiero w 1702 roku po pożarze wznieconym przez wojska szwedzkie Karola XII. Od tego czasu zamek zaczął podupadać.
Po II wojnie światowej obiekt znacjonalizowano, a po zabezpieczeniu warowni pozostała ona trwałą ruiną.
Przy wznoszeniu twierdzy wykorzystano dogodne miejsce między skałami i tam wkomponowano warownię. Wewnątrz zamku znajdowała się murowana cysterna na wodę. Wjazd na dziedziniec prowadził przez bramę umieszczoną w szczelinie między skałami.
Zamek przebudowywano i rozbudowywano wielokrotnie od XV do XVII wieku Dziedziniec główny zamku obiegały dekoracyjne króżganki, które prowadziły do komnat. Do dziś przetrwały baszty zwieńczone blankami. Zamek jest udostępniony do zwiedzania. Można również wynająć przewodnika, który oprowadzi po ciekawych zakątkach.
Oprócz potężnych baszt i murów zamku, które widać z daleka, można przejść ścieżką turystyczną, która prowadzi do sypialni Bonera, biblioteki, skarbca i kuchni. Można zajrzeć do zamku średniego Włodków z Basztą Kredencerską i do Wieży Skazańców. Schodami przy wieży można dojść do zbrojowni, a dalej tunelem skalnym do Kurzej Stopy. Na południe od Wieży Skazańców wznosi się obszerna wieża narożna z widocznymi otworami strzelniczymi. W jej górnej części Firlejowie urządzili salę marmurową.
Obecnie na dziedzińcu zamkowym odbywają się turnieje rycerskie i inne imprezy plenerowe.

13 km - Dąbrowa Górnicza / inne atrakcje przyrodnicze - Pustynia Błędowska na Śląsku
18 km - Mirów / legendy, podania - Legenda o bliźniaczych zamkach
31 km - Pieskowa Skała / Zamki, ruiny - Zamek w Pieskowej Skale
35 km - / inne zabytki i ciekawostki - Nieznany Powiat Chrzanowski
37 km - Ojców / rezerwaty przyrody, parki i ogrody - Ojcowski Park Narodowy
37 km - Święta Anna / klasztory, kościoły - Sanktuarium św. Anny w Świętej Annie
41 km - Olsztyn / Zamki, ruiny - Zamek w Olsztynie koło Częstochowy
46 km - Mstów / klasztory, kościoły - Warowny klasztor i sanktuarium Maryjne we Mstowie
55 km - Kraków / legendy, podania - Legenda o Smoku Wawelskim
58 km - Piekary Śląskie / góry, jeziora, rzeki - Kozłowa Góra - raj dla wędkarzy
80 km - Bielsko-Biała / Wystawy - NOC MUZEÓW 2012
54 km - Kraków / Pensjonaty
55 km - Kraków / Apartamenty
103 km - Sielpia Wielka / Domki letniskowe
103 km - Ustroń / Kwatery prywatne
104 km - Sielpia / Domki letniskowe
110 km - Tresta / Domki letniskowe
116 km - Kamienica / Domki letniskowe
116 km - Busko-Zdrój / Hotele
116 km - Busko-Zdrój / Hotele
117 km - Tomaszów Mazowiecki / Apartamenty
