Istnieje przypuszczenie, że budowniczym zamku był któryś z raubritterów - rycerzy rozbójników, którzy w X wieku napływali na Ziemię Sądecką z zachodu. Stąd, być może, nazwa miejscowości Rytro (Ritter). Niektórzy historycy przychylają się do poglądu, że zamek ryterski powstał w celach obronnych kraju, aby wzmocnić południową granicę. Wówczas fundatorem warowni byłby któryś z pierwszych książąt piastowskich.
Jan Długosz podaje, że w połowie XIII wieku zamek Ritter należał do kasztelana sądeckiego Piorta Wydżgi.
W pierwszej połowie XIV wieku zamek z pewnością był własnością króla Władysława Łokietka. Dzierżawcami zamku był Jakusz z Boturzyna, później Toporczykowie herbu Topór, którzy później używali nazwiska Ryterscy herbu Topór. W latach 1418 - 1502 zamek był obronną rezydencją rodu Ryterskich.
W XVI wieku zamek dzierżawił Piotr Kmita. Pod koniec XVI wieku zamek w Rytrze prawdopodobnie został opuszczony.
Przypuszcza się, że na wzgórzu pierwotnie mieścił się drewniany gród. W XIII wieku wzniesiono kamienną wieżę obronną. Średnica wieży dochodziła do 9 m i posiadała mury o grubości 3 m. Mogła się w niej mieścić ciemnica spodnia i górna, a nad nimi dopiero piętro wejściowe i wyższe - strażnicze. Otwór wejściowy znajdował się wysoko i wchodziło się do wieży po opuszczanych, czy też dostawianych drabinach.
W XIV i XV wieku od strony południowej dobudowano budynek o układzie dwudzielnym, który prawdopodobnie posiadał strzelnice, a nad nimi kondygnację mieszkalną. Całość otoczono murem.
W XVI wieku od strony wschodniej dobudowano basteję artyleryjską, która miała wzmocnić obronność zamku.
Pod koniec XVI wieku zamek był jednak bardzo zniszczony, a w 1657 roku ostatecznie zdewastowały go wojska Jerzego II Rakoczego, sojusznika wojsk szwedzkich.
W połowie XIX wieku plan zamku był bardzo czytelny, a mury obwodowe wznosiły się na jeszcze na wysokość 1,2 - 3,5 m. Wieża obronna miała wysokość ok. 9 m.
Podejmowane prace konserwatorskie w latach 70. XX wieku doprowadziły w rezultacie do dalszego zniszczenia murów. Rozebrano część murów zamkowych i tak pozyskanym budulcem uzupełniano wyrwy w wieży. Wieżę wypełniono gruzem, co bez należytego zabezpieczenia przed opadami, spowodowało w okresie zimowym rozsadzenie pierścienia wieży.
Obecnie z zamku pozostały resztki murów, resztki budynku i resztki wieży, ale miejsce jest bardzo urokliwe. Z wysokiego wzniesienia rozpościera się, wart obejrzenia, piękny widok na dolinę Popradu, dolinę Roztoki i całą okolicę.

32 km - Grybów / klasztory, kościoły - Kościół w Grybowie
32 km - Limanowa / klasztory, kościoły - Limanowa - sanktuarium Maryjne
34 km - Ciężkowice / rezerwaty przyrody, parki i ogrody - Ciężkowicko-Rożnowski Park Krajobrazowy
62 km - Tarnów / inne zabytki i ciekawostki - Tarnów żydowski
62 km - Tarnów / Kurhany, cmentarze, grobowce - Tarnowskie cmentarze
62 km - Tarnów / Zamki, ruiny - Zamek Tarnowskich
62 km - Tarnów / inne zabytki i ciekawostki - Generał Józef Bem
62 km - Tarnów / Zabudowa miejska - Stare groby pod ulicą Mickiewicza w Tarnowie
62 km - Tarnów / Pomniki, obeliski, tablice pamiątkowe - Tarnów ma największego na świecie Łokietka
62 km - Tarnów / Zabudowa miejska - Tarnów renesansowy
20 km - Muszyna / Ośrodki wypoczynkowe - Ośrodek Wypoczynkowo Szkoleniowy Andrzejówka
30 km - Krynica Zdrój / Pensjonaty - AVANTI - Krynica Zdrój noclegi i wypoczynek
31 km - Krynica / Kwatery prywatne - U Haliny Krynica-Zdrój
36 km - Kamienica / Domki letniskowe - Domek letniskowy Kamienica
55 km - Białka Tatrzańska / Agroturystyka - Białka Tatrzańska Agroturystyka U Marii
55 km - Białka Tatrzańska / Pensjonaty - Białka Tatrzańska U Ciwersa
72 km - Zakopane / Domki letniskowe - elkowe domki
92 km - Kraków / Apartamenty - Andy Pandy
93 km - Kraków / Pensjonaty - Accession B&B
98 km - Busko-Zdrój / Hotele - HOTEL POD ŚWIERKIEM
