Im Jahre 1660 kommt die Familie von Arenberg durch die Hochzeit von Karl Eugen, dem zweiten Herzog von Arenberg, mit Maria-Henriette in den Besitz von Beersel. Deren Tochter, Maria-Theresia (geboren im Jahre 1666) bewohnt die Burg. 1687 heiratet sie den Grafen Ludwig Ernst von Egmont. Beersel geht dann an Leopold Philipp, dem vierten Herzog von Arenberg (starb 1754), einem Neffen von Maria-Theresia. Die Inschrift in der KAPELLENGLOCKE der Burg weist auf diese Tatsache hin. Die Familienmitglieder aus dem Hause Arenberg hielten sich nur selten in der Burg auf. Um dessen Aufrechterhaltung zu gewährleisten, verbleiben dort VERTRAUENSPERSONEN.
Ab ca. 1730 bis zu seinem Tod am 16. August 1750 wohnt dort der Kaplan Hubert Vellemans. Er ist ein Pater des Priorats von Zevenborre und bekommt hierfür 200 Gulden pro Jahr. Ab ca. 1756 bis zu deinem Tod im Jahre 1796 wohnt Pfarrer Christophorus Franciscus Blanchez zusammen mit seiner Haushälterin in der Burg. Um 1818 herum ist in der Burg eine Baumwollweberei untergebracht. Wir können davon ausgehen, dass es sich hier um einen Hausweber handelt, der in den großen Sälen Platz für einige Webstühle hatte. Danach kam es zum Verfall der Burg. Im Jahr 1830 sind bereits alle Dächer eingestürzt und das Gebäude vermittelt nur noch den trostlosen Eindruck des endgültigen Verfalls. Prinzessin Marie Nicolette von Arenberg, verheiratet mit dem Grafen Charles DE MERODE, vermachte die Burg an die Familie de Merode.