La famille d'Arenberg est entrée en possession de Beersel par le mariage de Charles-Eugène, 2e duc d'Arenberg, avec Marie-Henriette en 1660. Leur fille, Marie-Thérèse (née en 1666), vit au château. Elle épouse Louis-Ernest, comte d'Egmont, en 1687. Beersel passe ensuite à Léopold-Philippe, 4e duc d'Arenberg (mort en 1754), un cousin de Marie-Thérèse. L'inscription sur l’horloge de la chapelle du château nous le rappelle. Les d’Arenberg ne séjournent presque jamais au château. Afin d'en assurer l'entretien, des personnes de confiance y demeurent. De 1730 environ jusqu'à sa mort le 16 août 1750, le vicaire Hubert Vellemans y réside. Il est religieux du prieuré de Septfontaines et reçoit 200 florins par an pour son travail d’entretien.
De 1756 environ jusqu'à sa mort en 1796, le curé Christophorus Franciscus Blanchez réside au château avec sa servante. Vers 1818 une manufacture de toile de coton a été établie au château. Nous pouvons supposer qu'il s'agissait d'un tisserand à domicile qui avait suffisamment de place dans les grandes salles pour quelques métiers à tisser. Par la suite, le château est tombé en ruine. En 1830, tous les toits s'étaient déjà effondrés et le bâtiment ne donnait plus qu'une impression désolante de délabrement. La princesse Marie-Nicolette d'Arenberg, mariée au comte Charles de Merode, transmet le château à la famille de Merode.