Zamek w Olsztynie przebudowano z drewnianego na murowany na rozkaz Kazimierza Wielkiego w 1349 roku. Wcześniejsza nazwa zamku Przymiłowice została zmieniona na Olsztyn w latach 30-40 XIV wieku. Zamek pełnił funkcję więzienia królewskiego i chronił granice Królestwa Polskiego przed najazdami z południa.
W 1358 roku do lochów zamku za spiskowanie przeciwko Kazimierzowi Wielkiemu został wtrącony Maciej Borkowicz. Początkowo wygnany z kraju nadal knuł przeciwko królowi, więc z rozkazu Kazimierza Wielkiego schwytano go w Kaliszu i przewieziono do Olsztyna. Tu dokonał swojego żywota skazany na śmierć głodową.
W 1370 roku władza nad zamkiem została przekazana księciu opolskiemu Władysławowi Opolczykowi. Książę Władysław władał zamkiem do 1396 roku. Jednak za knowania przeciwko królowi w tym też roku Władysław Jagiełło odbił zamek po tygodniowym oblężeniu. Po odebraniu zamku Opolczykowi zamek przeszedł na własność króla i stał się siedzibą starostwa koronnego.
W XV wieku zamek był często najeżdżany przez książąt śląskich. W 1587 roku zamek próbował zdobyć książę austriacki Maksymilian, pretendent do tronu polskiego. Jednak determinacja i odwaga obrońców zmusiły napastników do wycofania się spod twierdzy. Dopiero sto lat później zamek poddał się atakom napastników. W 1656 roku, w czasie najazdu Szwedów warownia została zupełnie zniszczona.
Zamek został wzniesiony na wzgórzu wśród wapiennych skał. W dawnych czasach składał się z trzech części oddzielonych od siebie murami. Był to zamek górny, stanowiący właściwą warownię, zamek średni i zamek dolny. Do dzisiaj zachowało się niewiele - fragmenty murów obronnych i 35 metrowa okrągła wieża z XIII wieku, która w latach świetności służyła za więzienie. Zachowały się również fragmenty pomieszczeń mieszkalnych oraz poza granicą murów - prostokątna baszta obserwacyjna.
Kalendarium:
1306 - Pierwsza wzmianka o zamku w Przymiłowicach, późniejszym Olsztynie.
1349 – Po raz pierwszy zamek został wymieniony pod nazwą „Olsten” - Olsztyn w kronice Janka z Czarnkowa.
1349 – 1359 – Kazimierz Wielki rozbudowuje zamek i przebudowuje go z drewnianego na murowany, podnosząc warownię do rangi twierdzy obronnej.
1370 – Spadkobierca Kazimierza Wielkiego, Ludwik Węgierski oddaje zamek w lenno Władysławowi Opolczykowi.
1396 – Władysław Jagiełło odbiera zamek Władysławowi Opolczykowi i włącza go do korony jako oddzielne starostwo.
1442 – 1457 – Książęta śląscy bezskutecznie oblegają zamek.
1587 – Bohaterska obrona zamku przez Burgrabiego Kaspra Karlińskiego przed wojskami arcyksięcia Maksymiliana Habsburga, pretendenta do tronu Polskiego.
1656 – zamek ulega poważnemu zniszczeniu na skutek oblężenia i zdobycia go przez Szwedów.
1722 – 1729 – Częściowa rozbiórka zamku w celu uzyskania budulca na budowę kościoła w Olsztynie.

8 km - Mstów / klasztory, kościoły - Warowny klasztor i sanktuarium Maryjne we Mstowie
18 km - Częstochowa / Fortyfikacje i umocnienia - Twierdza Jasna Góra
25 km - Mirów / legendy, podania - Legenda o bliźniaczych zamkach
27 km - Święta Anna / klasztory, kościoły - Sanktuarium św. Anny w Świętej Annie
41 km - Podzamcze / Zamki, ruiny - Ruiny zamku Ogrodzieniec
44 km - Piekary Śląskie / góry, jeziora, rzeki - Kozłowa Góra - raj dla wędkarzy
48 km - Dąbrowa Górnicza / inne atrakcje przyrodnicze - Pustynia Błędowska na Śląsku
62 km - / inne zabytki i ciekawostki - Nieznany Powiat Chrzanowski
63 km - Załęcze Wielkie / rezerwaty przyrody, parki i ogrody - Wielki Łuk Warty
67 km - Załęcze Wielkie / Pomniki przyrody - Pomniki Przyrody Załęczańskiego Parku Krajobrazowego
95 km - Bielsko-Biała / Wystawy - NOC MUZEÓW 2012
95 km - Kraków / Pensjonaty
96 km - Kraków / Apartamenty
101 km - Tresta / Domki letniskowe
108 km - Tomaszów Mazowiecki / Apartamenty
112 km - Ustroń / Kwatery prywatne
113 km - Sielpia Wielka / Domki letniskowe
114 km - Sielpia / Domki letniskowe
115 km - Grotniki / Ośrodki wypoczynkowe
147 km - Busko-Zdrój / Hotele
147 km - Busko-Zdrój / Hotele
