Les Puy du Fou étaient catholiques, et guerroyaient contre les Protestants puissants dans ce Haut Bocage.
Par mesure de sécurité, il fallut abandonner le château et se réfugier dans un autre domaine.
Vraisemblablement, le Puy du Fou fut incendié pendant ces guerres, la haute toiture qui couvrait les combles éclairés par les lucarnes à frontons, dont quelques-unes subsistent encore, s'effondra.
Tant bien que mal, le Puy du Fou fut recouvert d'une économique toiture de tuiles romaines en usage dans le pays.
La construction de la galerie de droite n'eut pas lieu, et les grandes arcades de celle de gauche, bouchées par des murs de maçonnerie.
La fortune des du Puy du Fou amenuisée par les guerres ne permettait plus l'achèvement de ce château.

Comme beaucoup de grands seigneurs de cette époque troublée, chargés d'honneurs très onéreux, et malgré de grands mariages, les du Puy du Fou se ruinèrent.
Pour payer les troupes levées sur ses terres et équipées à ses frais, payer aussi l'achat de la seigneurie de Mallièvre et la réfection de l'église des Epesses, Gabriel du Puy du Fou vendit peu à peu ses domaines.
D'abord en 1643 le Bois-Niard de Chambretaud, en 1645, l'important marquisat de Combrende, en 1653 Curzon, puis Fromenteau, et enfin le 5 juillet 1659, ce fut le tour du Puy du Fou.
De l'immense fortune de cette famille, il ne restait plus que Pescheseul, où il mourut en 1653, le dernier mâle du nom.
Le Puy du Fou fut acquis par Claude Boylesve, né presque pauvre à Angers en 1611 mort en 1673.
Il devint secrétaire du fameux surintendant Fouquet (1615-1680).
Il fit une fortune scandaleuse, dont il essaya de faire oublier l'origine en se répandant en donations de toutes sortes.
Il fit meubler et décorer magnifiquement l'église des Epesses et élever le beau rétable du 17ème siècle qui orne aujourd'hui le chœur.

Mais bien mal acquis ne profite jamais.
A la mort de Claude Boylesve, ses sept enfants recueillirent un maigre héritage.
Le Puy du Fou passa à sa fille Gabrielle (1664-1738), qui épousa François-Pierre de la Forest d'Armaillé (1658-1702).
Un de ses descendants, ruiné à son tour, vend le Puy du Fou, le 24 décembre 1788, au comte de Marconnay. 
La Révolution approchant et avant d'émigrer, il vendit cette terre du Puy du Fou au marquis Godard de Belbœuf (1730-1808), pour le compte de son beau-père Clément-Charles-François de l'Averdy (1724-1793), qui fut ministre des Finances de Louis XVI (1754-1793) et porta sa tête sur l'échafaud le 23 novembre 1793.
Il ne vint sans doute jamais au Puy du Fou, et lors de l'incendie du 31 janvier 1794, par la Colonne Infernale de Boucret (1764-1820), il est fort possible que c'était un château vide qui brûlait.
Monsieur de l'Averdy n'avait certainement pas eu le temps de le meubler.
Seule la grande galerie échappa à l'incendie.

L'année suivante le nouveau régisseur, Lelièvre, la transformera pourra en faire son habitation.
Quant aux officiers de justice qui gravitaient autour du Puy du Fou retenons le notaire de la châtellenie, Gabriel-Vincent Chenuau (1755-1821) qui fut adhérant aux idées nouvelles de la Révolution.
Il devint aux Epesses, l'émule du proconsul Jean-Baptiste Carrier (1756-1794), de Nantes, et ses victimes y furent nombreuses.
Pendant que sa fortune à la faveur des acquisitions des Biens Nationaux, devint considérable.
Parmi ses victimes, il faut compter Charles-Joachim Girault, de la Limouzinière, dernier sénéchal du Puy du Fou.
Il s'efforça de protéger ce domaine de la rapacité de Chenuau, Charles-Joachim Girault (1742-1794), de la Limouzinière fut membre du Comité établi par les Vendéens aux Epesses, et fut massacré sur l'ordre de Chenuau, au bourg de Chambretaud où il était caché au début de juin 1794.
Le 14 novembre 1799, les Vendéens du Haut-Bocage sous les ordres du marquis de Grignon de Pouzauges (1775-1799), battirent au Puy du Fou, une colonne républicaine.
Les descendants de Monsieur Grignon de l'Averdy, vendirent le Puy du Fou en 1949.