W 1641 roku hrabia Jerzy Unruh nabył Kargowę od Wojciecha Żychlińskiego. Była to wówczas spora, licząca się wieś.
Unruhowie pochodzili z Frankonii, byli protestantami. Osiedlili się w Polsce, bo tu panowała wolność religijna i nie musieli obawiać się prześladowań. Unruhowie z linii wielkopolskiej w 1613 roku otrzymali indygenat, czyli potwierdzenie przywilejów szlacheckich. Jednak prawo do urzędów dygnitarskich i dóbr królewskich mogli uzyskać dopiero w trzecim pokoleniu.
Krzysztof Unruh, starosta wałecki i gnieźnieński, dowodził wystawionym i utrzymywanym przez siebie, doborowym pułkiem. Wraz z nim gromił Kozaków, Tatarów, Rosjan, Turków i Szwedów. W przypadku Szwedów - najpierw im sprzyjał, a kiedy zwycięstwo przechylało się na polską stronę, wówczas Unruhowie opuścili Szwedów, ukorzyli się przed królem Janem Kazimierzem i zaczęli bić Szwedów. Ta zdrada kosztowała Krzysztofa Unruha 6 lat czekania na zatwierdzenie przez króla, przygotowanego przez Unruha planu nadania praw miejskich założonej przez niego osadzie Unruhowo lub Unrugowo (niem. Unruhstadt).
Krzysztof Unruh otrzymał to prawo od króla Jana Kazimierza dopiero w 1661 roku. Plan nowego założenia miejskiego wytyczono między Kargową Dolną i Górną, a osada połączyła się z czasem w jeden organizm miejski.
Pod koniec XVII wieku Krzysztof Unruh wybudował w Kargowej reprezentacyjny pałac. Była to budowla dwukondygnacyjna, wzniesiona na planie prostokąta, połączona dziedzińcem i ogrodem z dwoma budynkami.
W 1730 roku szambelan królewski Karol Unruh przekazał Kargowę w dożywotnie posiadanie królowi Augustowi II Mocnemu, z prawem do przebudowy i rozbudowy. Bezpośrednią przyczyną przejęcia Kargowej przez Augusta Mocnego była konieczność stworzenia dogodnego miejsca postoju na trasie z Drezna do Warszawy.
Król zamierzał jednak w Kargowej utworzyć bazę wojskową. W związku z tym planował rozbudowę miejscowości, w tym również pałacu.
Rozbudowę rozpoczęto w 1731 roku według projektu J.K. Knöffela. Prace prowadzono na wielką skalę, zatrudniono więc wielu wykonawców. Do 1733 roku rozbudowano starą siedzibę Unruhów, a także wzniesiono 100-metrowej długości pałac królewski oraz cztery budynki koszarowe. Prace przerwała śmierć monarchy, a także wojna o sukcesję polskiego tronu.
W 1735 roku, w czasie działań wojennych, nowo wybudowane założenie pałacowe zostało zniszczone. Również dawny pałac Unruhów został splądrowany i spalony. Unruhowie odbudowali pałac, ale już bez architektonicznych dekoracji elewacji i wewnętrznego wystroju.
Elementy budowli określanej jako pałac królewski mogą znajdować się w budynku stajni, na wschodniej stronie dziedzińca.
Unruhowie związani byli z Kargową do 1837 roku, kiedy to miasto przeszło na własność państwa pruskiego.
W okresie międzywojennym pałac należał do rodziny Richterów. Po II wojnie światowej pałac przeszedł na własność skarbu państwa. W pałacu umieszczono biura PGR-u. Obecnie pałac nie jest użytkowany.
Pałac w Kargowej, przebudowany przez Augusta Mocnego, wzniesiono na planie litery "U". Jest to budowla dwukondygnacyjna, podpiwniczona, przykryta dachami czterospadowymi. Dach nad korpusem głównym pałacu jest podwyższony.
Jedyną dekoracją fasady pałacu jest głęboki, trójuskokowo wklęsły ryzalit, w którym umieszczono główne wejście do pałacu, poprzedzone jednobiegowymi schodami. Ryzalit w przyziemiu rozczłonkowany pilastrami, zwieńczony jest faliście łamanym szczytem.
W elewacji ogrodowej umieszczono płytki ryzalit, zwieńczony trójkątnym szczytem. W przyziemiu ryzalit dzielą pilastry. Okna pałacu ujęte są opaskami bez żadnych dodatkowych dekoracji. Jedyną dekoracją skrzydeł bocznych są opaski wokół okien.
W piwnicach zachowały się fragmenty dawnego pałacu Unruhów, w postaci kolebkowych sklepień.
Z dawnego wyposażenia pałacu przetrwały trzy barokowe kominki, sztukateria sufitów oraz żelazne drzwi w piwnicy.
W latach 60. XX wieku PGR przeprowadził remont, podczas którego zmieniono układ wnętrz w centralnej części pałacu. W początkach XXI wieku zabezpieczono budynek, wymieniając pokrycie dachu.
Obok pałacu stoi barokowa oficyna i budynek gospodarczy.
Pałac obecnie jest własnością prywatną, co daje nadzieję na przywrócenie zabytkowi dawnej świetności.
Od południa pałac otacza park z cennymi, pomnikowymi drzewami. Znajduje się tu 25 gatunków drzew, m.in. platany, buki, daglezje, cisy, kłęk kanadyjski oraz perłowiec japoński. Największym okazem w parku jest buk o obwodzie 750 cm i wysokości ok. 28 m, uznany za pomnik przyrody. W parku znajduje się również aleja grabowa i aleja lipowo-kasztanowa, których wiek szacowany jest na ok 250 lat oraz młodsza od nich aleja kasztanowa. Powierzchnia parku wynosi 6,5 hektara.

13 km - Bojadła / Pałace, dwory - Bojadła - pałac rodu von Kottwitz
20 km - Zabór / Zamki, ruiny - Zabór - zamek ostatniej eks-cesarzowej
40 km - Przemęt / rezerwaty przyrody, parki i ogrody - Przemęcki Park Krajobrazowy
41 km - Rakoniewice / Pałace, dwory - Rakoniewice - założenie pałacowo-parkowe
41 km - Nowe Miasteczko / klasztory, kościoły - Nowe Miasteczko - kościół pw. Opatrzności Bożej
42 km - Gościkowo / klasztory, kościoły - Gościkowo-Paradyż - opactwo cystersów
46 km - Kaława / Fortyfikacje i umocnienia - Międzyrzecki Rejon Umocniony
47 km - Głogów / punkty widokowe - Punkt widokowy na wieży ratusza w Głogowie
47 km - Głogów / Zabudowa miejska - Ratusz w Głogowie
47 km - Głogów / inne atrakcje przyrodnicze - Tulipanowiec amerykański w śląskiej fosie
34 km - Racula / Hotele - Villa Jaśmin Zielona Góra
36 km - Zielona Góra / Hotele - Stary Zajazd
39 km - ZIELONA GÓRA / Hotele - RUBEN HOTEL****
45 km - Nowy Dworek / Ośrodki wypoczynkowe - Nowy Dworek - ośrodek wypoczynkowy
45 km - Nowy Dworek / Domki letniskowe - Nowy Dworek - ośrodek wypoczynkowy
84 km - Osieczna / Ośrodki wypoczynkowe - Ośrodek Wypoczynkowo-Szkoleniowy Waykiki
103 km - Nawojów Łużycki / Agroturystyka - Agroturystyka "Pod Laskiem"
109 km - Poznań / Kwatery prywatne - Noclegi Poznań gsm 510 118454 Karolina
109 km - Poznań / Apartamenty - Noclegi Poznań gsm 510 118454 Karolina
118 km - janowice wielkie / imprezy integracyjne - Ośrodek Rekreacyjno Szkoleniowy Leśny Dwór
