Początkowo należał do rodziny Broniszów. Najważniejsze prace dla rozbudowy pałacu poczyniła Dorota z Broniszów Jabłonowska. W miejscu tym bywali Tadeusz Kościuszko, Józef Poniatowskiczy Ignacy Mościcki. O pałacu w Racocie mówi historyk, dr Piotr Napierała.