A XVII. század közepén meghalt Várfalvi Gáspár, és vele kihalt a család férfi ága, így a Jósikák megszerezték az özvegytől a falut és a birtokot. A XVII. század második felében már a bárói rangra emelt Jósika (II.) Gábor volt a tulajdonos.

A klasszicista, oromfalas Gidofalvy kúriát az épületben élő leszármazottak elmondása szerint, albisi Gidófalvy János (1815-1891) édesapja építette a XIX. század elején.

A kúria empire-klasszicista stílusjegyeket hordoz, Damokos Ferenc építtette. Házasodás révén jutott az Eperjessy, majd vásárlás útján a Bartók családhoz.

Nagysajó a XVIII. században jutott a Kemény család birtokába, akik saját épületeik mellett a református egyház templomának felépítését is támogatták. A Kemény-kastélyt feltételezhetően gr. Kemény Sámuel (†1817) építtette, a helyi hagyomány szerint vadászkastélynak.