Stanisław Rupniewski, późniejszy kasztelan małogoski, konarsko-kujawski, starosta szydłowski, wojski sandomierski, dostał się do niewoli tureckiej pod Wiedniem. Podczas pobytu w Turcji, Rupniewski zauroczony orientem, zmienił wyznanie na islam. W niewoli tureckiej przebywał do 1709 roku, skąd wykupił go stryj - Stefan Rupniewski, biskup łucki.
Stanisław Rupniewski, wielki miłośnik pięknych kobiet i pięknych roślin, powrócił do kraju, przywożąc z Konstantynopola sadzonki topoli włoskiej, a niektórzy twierdzą, że również liczne żony. To podobno dla nich wybudował w Grabkach Dużych pałac w stylu orientalnym.
Inni twierdzą, że kasztelan do końca życia był kawalerem lubiącym korzystać z uciech życia i lubił otaczać się pięknymi kobietami, które umieścił w "tureckim pałacu".
Podobno Rupniewskiemu wpadła w oko urodziwa dziewczyna z pobliskiego Szydłowa, wychowanica tamtejszego księdza. Rupniewski zakochał się bez pamięci. Po bezskutecznych zabiegach o jej względy, zniecierpliwiony porwał ją i chciał zabrać do pałacu w Grabkach, ale rozpędzony powóz nie wyhamował i roztrzaskał się o drzewo w alei prowadzącej do pałacu, a kasztelan nadział się na własny kindżał turecki i zmarł.
Tyle legendy, która odrobinę "rozbiega się" w czasie, a teraz fakty.
Turcy pod Wiedniem byli w 1683 roku, do 1709 roku - powrotu z niewoli upłynęło 26 lat. Pałac w Grabkach Dużych wzniesiono w latach 1742 - 1750. Kasztelan zmarł w 1764 roku.
Jeżeli Stanisław Rupniewski wybrał się pod Wiedeń z Janem III Sobieskim w wieku ok. 20 lat, to powrócił z Turcji mając lat 46, budowę pałacu rozpoczął w wieku 79 lat, ukończył ją w wieku 87 lat, a dziewczynę z Szydłowa porwałby w wieku ok. 100 lat.
Poza tym, jeżeli domniemane żony, przywiezione z Turcji w 1709 roku miały wówczas po 15 lat, to w 1742 roku, kiedy rozpoczęła się budowa pałacu, miałyby już po 48 lat. Czy kasztelan na pewno dla nich wybudował ten pałac?
Prawdą jednak jest, że w Grabkach Dużych Stanisław Rupniewski herbu Śreniawa, kasztelan małogoski, wybudował rokokowy pałac w stylistyce orientalnej, niespotykanej dotychczas w Polsce. Pałac ten zaprojektował dla niego włoski architekt Franciszek Placidi.
Rezydencję wzniesiono na planie ośmioboku. Na paterze, w centralnej części mieści się ogromna sala, obudowana czterema niższymi, symetrycznymi salonikami. Na piętrze znajdują się liczne pokoje, rozmieszczone również symetrycznie. W jednym z nich jest wewnętrzny balkon, z którego widać cały salon. Podziemia pałacu kryją podobno cały system korytarzy i kanałów.
Obok pałacu, po wschodniej i zachodniej stronie wybudowano również dwa czworoboczne, piętrowe pawilony. W jednym z nich miała się znajdować herbaciarnia, natomiast drugi pawilon miał służyć do modlitwy.
Zarówno pałac, jak i pawilony kryte są miedzianymi dachami namiotowymi o tzw. giętym profilu.
Prawdą jest również to, że Stanisław Rupniewski przywiózł z Konstantynopola sadzonki topoli włoskiej i zasadził je w swej posiadłości w Gnojnie, niedaleko Chmielnika. Były to pierwsze w Polsce okazy tych pięknych, wyniosłych drzew. Również w Grabkach Dużych założył piękny ogród, w którym do dziś można spotkać okazałe, stare lipy oraz wiekowe cisy, z których jeden uznany został za pomnik przyrody.
Prawdą jest również to, że pałac w Grabkach Dużych podobał się nie tylko kasztelanowi Rupniewskiemu, ponieważ wielokrotnie był odbudowywany.
W 1831 roku pałac został spalony, ale dość szybko dźwignięto go z ruin i odbudowano.
W czasie działań wojennych, w latach 1944 - 1945 uległ poważnym zniszczeniom. Został odbudowany i zrekonstruowany przez państwo. Umieszczono tu siedzibę Wojewódzkiego Ośrodka Doskonalenia w Małogoszczy, gdzie organizowano różne kursy dla rolników. Kiedy Wojewódzki Ośrodek Doskonalenia przestał istnieć, majątek przejęła gmina Szydłów, a pałac nieużywany przez kilka lat, niszczał.
W 1991 roku pałac w stanie opłakanym zakupił człowiek, który odremontował zabytek, a od kilku lat mieszka tu wraz z rodziną.
Dziś pałacyk jest zadbany i wygląda urzekająco, ale nowy właściciel musiał włożyć wiele pracy i dużo serca, aby zabytkowi przywrócić dawny blask.

3 km - Szydłów / Fortyfikacje i umocnienia - Szydłów - fortyfikacje miejskie
13 km - Kurozwęki / Zamki, ruiny - Zamek rycerski w Kurozwękach
29 km - Nowa Słupia / klasztory, kościoły - Kościół i klasztor Święty Krzyż
33 km - Wełecz / Pomniki przyrody - Niepospolita sosna pospolita
40 km - Wiślica / rezerwaty przyrody, parki i ogrody - W krainie gipsu i stepów
45 km - Pińczów / klasztory, kościoły - Pińczów - stara synagoga
49 km - Wąchock / Pomniki, obeliski, tablice pamiątkowe - Pomnik sołtysa w Wąchocku
56 km - Chęciny / kopalnie, jaskinie, podziemia - Jaskinia Raj
57 km - Tarnów / Zamki, ruiny - Zamek Tarnowskich
57 km - Tarnów / inne zabytki i ciekawostki - Tarnów żydowski
29 km - Busko-Zdrój / Hotele - HOTEL POD ŚWIERKIEM
29 km - Busko-Zdrój / Hotele - HOTEL POD ŚWIERKIEM
64 km - Przecław / Apartamenty - Zamek Przecław
72 km - Bałtów / Ośrodki wypoczynkowe - Domki wypoczynkowe - "Szwajcaria Bałtowska"
82 km - Sielpia / Domki letniskowe - Ośrodek wypoczynkowy RELAX w Siepli
82 km - Sielpia Wielka / Domki letniskowe - Domki letniskowe Regent w Sielpi
101 km - Grodzisko / Agroturystyka - Słoneczne Wzgórze
115 km - Kraków / Apartamenty - Andy Pandy
116 km - Krynica Zdrój / Pensjonaty - AVANTI - Krynica Zdrój noclegi i wypoczynek
117 km - Kraków / Pensjonaty - Accession B&B
