Il est très abîmé durant la guerre de cent ans. Une première rénovation se fait en 1455. A la Renaissance, Anne de Pisseleu rénove l’aile gauche et fait rasé l’aile droite trop abîmée. A la fin du XVIème et au début du XVIIème, les Maréchaux de la Châtre vont, de nouveaux, modifier et faire fructifier le domaine. En 1815, il est vendu pour être démanteler avant d’être sauver par le peintre Etienne Berne Bellecour en 1867. Ce dernier le revendra en 1899 au compositeur Jules Massenet qui en fait sa résidence d’été. A noter que selon ses vœux, Jules Massenet repose au cimetière d’Egreville.

Tous les ans, début juillet, se déroule dans les douves et le parc du château un grand festival de musique et de gastronomie : La Douve Blanche.