Un pont-levis en permet alors l'accès. Elles ont l'avantage d'être toujours en eau. C'est d'ailleurs, une eau très poissonneuse où les habitants viennent pêcher.

En 1599 Le roi Henri IV décide de l'érection de la terre de Beaumont en comté. C’est Achille de Harlay (1536-1616), premier Président au Parlement de Paris qui fera rénové le château à partir de 1604. Le comté reste entre les mains des Harlay jusqu'en 1711, date du mariage de Madeleine de Harlay avec Christian de Montmorency-Luxembourg, Prince de Tingry. Le château reste jusqu'à la Révolution entre les mains de cette famille, qui y bâtit une grande demeure.

A deux reprises, en 1711 et en 1787, les Montmorency-Luxembourg fêtent un mariage au château. Ainsi, toutes les communes qui dépendent de la seigneurie sont conviées, des tables sont dressées dans les avenues du parc, où les paysans sont servis pendant 7 jours. Les douves sont illuminées pour l'occasion.

Après la Révolution française, le château fut vendu en 1798. Tandis qu'en 1804, il est en partie démoli.

Le château est inscrit au titre des monuments historiques depuis le 16 juillet 1984.