Zbylitowska Góra, zwana początkowo Górą, później Górą Zbylitowską, swą obecna nazwę zawdzięcza pierwszym właścicielom, rodzinie Zbylitowskich, z której pochodził między innymi znany barokowy pisarz czasów Zygmunta III Wazy – Andrzej (1565-1608). Ale o nim dziś, także nie o tym, że częstym gościem mógł być tu gen. Józef Haller ani o tym, że mieszkał tu kochanek cesarzowej Sisi. A o eklektycznym murowanym parterowym dworku wzniesionym najdalej w połowie XIX wieku na miejscu wcześniejszego drewnianego, który uległ spaleniu. Jego projektantem miał być Piotr Aigner (1756-1841), spod którego ręki wyszły takie dzieła, jak Świątynia Sybilli w Puławach, Pałac Wodzickich w Igołomi, pałac w Przeworsku a w stolicy – kościół św. Aleksandra, Pałac Namiestnikowski, Arsenał czy Obserwatorium Astronomiczne. Zatem twórca, którego moglibyśmy określić gwiazdą ówczesnej architektury. Co zatem Ainger zaproponował ówczesnym właścicielom wsi – rodzinie Moszczeńskich, którzy w posiadanie Zbylitowskiej Góry weszli na przełomie XVIII i XIX wieku? Oddajmy głos specjalistom. „Środkową część elewacji frontowej zajmuje szeroki filarowy podcień zwieńczony wyłamanym trójkątnym naczółkiem z herbami Nałęcz Moszczeńskich i Drużyna Stadnickich w ramowej dekoracji. Krawędź naczółka oraz ściany obiega gzyms konsolkowy, a okna listwy tworzące uszakowe obramienia. W elewacji tylnej, od północy, ciężki filarowy ganek o kryształowatej strukturze, zwieńczony wyłamanym w formę trójkątnego szczytu analogicznym gzymsem konsolkowym. Wnętrza w układzie dwutraktowym, z korytarzem pomiędzy traktami. W niedużej odległości od dworu przekształcana po wojnie oficyna i oranżeria z filarowym podcieniem”.
W 1863 roku zmarł ostatni z rodu Moszczeńskich i majątek przeszedł w ręce litewskiego szlachcica Franciszka Żaby herbu Kościesza, który wżenił się w familię ustępujących właścicieli. I w rękach Żabów dworek pozostawał do czasów II wojny światowej. Ostatnim właścicielem był zmarły w 1982 roku Franciszek Żaba, wielki patriota, który w czasie wojny, walcząc w AK pomógł wielu osobom. W 1945 roku majątek znacjonalizowano, Żabów pozbawiono dachu nad głową, rozkradziono rodowe srebra, poniszczono meble, przepadła licząca 5 tysięcy tomów biblioteka. Franciszek Żaba przez kilka lat korzystał z gościnności swojego przyjaciela z lat przedwojennych – Romana Sanguszki, pracując w Brazylii.
Od 2018 roku na terenie pałacu mieści się Specjalny Ośrodek Szkolno-Wychowawczy.