Pendant un siècle, les imposantes RUÏNES sont visitées par de nombreux touristes et artistes qui donnent libre cours à leurs rêveries romantiques. Dans le même temps, des articles intéressants paraissent dans la presse, décrivant l'état du château et déplorant son délabrement. Victor Joly, qui visita le château en 1844, résume ainsi ses impressions dans son ouvrage "La Belgique Monumentale" : "A Beersel, situé dans une charmante vallée et au bas d'une pente couverte de platanes, se présente une des ruines les plus pittoresques que l'on puisse voir. Adossées à un versant boisé, les tours colossales, dont les murs défient le temps, se dessinent dans la forêt de taillis verts.... Les douves du château, actuellement à sec, servent de prairie au village. Les tours, dépouillées de leurs toits et couvertes de plantes vivantes, n'ont pas encore complètement perdu leur aspect fantastique. L'intérieur du château se trouve dans un état à peine croyable. Les planchers, suspendus à une extrémité, ou effondrés, laissent voir la voûte céleste comme à travers l'ouverture d'une cheminée. Des murs de trente-cinq pieds de haut relient une tour à l'autre, et montrent qu'ils étaient autrefois la force du site. Mais c'est surtout dans le silence et le calme des belles nuits d'été, lorsque la lune jette sa lueur mystérieuse sur le château en ruines, qu'il déploie toute sa majesté. Quand donc, au sein de et sur les cimes de ces tours battues par le temps et la catapulte, s'agite un panache vert, on croit voir les ombres des seigneurs de Witthem brandissant leurs drapeaux d'argent à croix bleu ciel. Le soupir de la brise procure une voix à chaque pierre, et éveille mille sons étranges dans le sombre escalier des tours. Le vent, s'engouffrant par les fenêtres en croix, fait parfois trembler le château comme s'il était sur le point d'être arraché de ses fondations. C'est dans la contemplation de cette grande ruine du passé, que le sentiment plein de mélancolie ne peut être décrit." C'est dans un état d’âme similaire que Victor Hugo, en visite en Belgique en 1877, trouve le château de Beersel et écrit les vers suivants :
" Il gît là dans le val, le manoir solitaire,
Le moindre bruit s'est tu sous ses sombres arceaux,
Et chaque heure du jour voit tomber une pierre de ses sombres créneaux.
Le corbeau s'est logé dans ses antiques salles,
La chouette y redit sa plainte tous les soirs,
Et le brin d'herbe croît entre les froides dalles de ses vastes couloirs. "
Après la dernière occupation du château en 1818, des parties des tours se sont effondrées et les douves se sont complètement envasées. À l'époque de la Première Guerre mondiale, une grande inquiétude existait concernant la perte définitive des ruines du château, notamment parce que de nombreux habitants de Beersel venaient enlever avidement les matériaux de construction disponibles. En 1914, le château a été classé monument historique. Afin de le protéger de toute nouvelle destruction, mais aussi en raison du danger d'effondrement, l'accès a été rendu impossible. Le rapport de la Commission Royale des Monuments et Sites suite à une visite du site le 19/07/1916 prouve que cette décision n'a pas pu empêcher la poursuite de la détérioration et le vol de matériaux de construction : " La délégation a pu constater que les affirmations de M. Minner Alfred, architecte à Bruxelles, n'étaient pas exagérées.
Des traces fraîches prouvent que des pierres blanches et des briques ont été volées :
- a) Dans la salle supérieure de la tour à gauche de la tour d'entrée. Le pied droit de la cheminée a complètement disparu, ainsi que les montants des fenêtres et des portes de cette pièce. Le socle à l'extérieur de cette tour a également été attaqué.
- b) Dans la tour sud, le linteau supérieur de la cheminée de la salle, encore partiellement voûtée, a été volé. Une tentative a été faite pour enlever les corbeaux de pierre des nervures de la voûte.
- c) Dans le mur d'enceinte, les montants d'une des fenêtres les plus proches de la tour sud ont été volés, ainsi que les pierres d'un des contreforts.
L'avis de la commission était le suivant : "les fenêtres et les ouvertures existantes dans le mur d'enceinte devraient être barricadées au moyen de clôtures ou de portes afin d'empêcher les pilleurs et les personnes mal intentionnées de pénétrer à l'intérieur des ruines." Le garde qui guide la délégation déclare que personne ne peut entrer dans les ruines. Cette affirmation est facilement réfutable ; plusieurs visiteurs ont gravé leur nom sur les murs du château, dont Josse Van den Bossche, entrepreneur, Anderlecht ; C. Cassiers 1916 ; H. Hannut, Anderlecht ; Wauters. Dans la période qui suit immédiatement la Première Guerre mondiale, un certain nombre de personnes conçoivent le projet de restauration du château.