Während eines Jahrhunderts werden die imposanten Ruinen von zahlreichen Touristen und Künstlern besucht, die ihrer romantischen Gedankenwelt freien Lauf lassen. Gleichzeitig erscheinen in der Presse interessante Artikel, in denen der Zustand der Burg beschrieben und der Verfall bedauert wird.
Victor Joly, der die Burg 1844 besucht, fasst seine Eindrücke in dem Werk “La Belgique Monumentale” wie folgt zusammen: “In Beersel, in einem reizvollen Tal gelegen und am unteren Rand ein mit Platanen bepflanzter Hang, situiert sich eine der meist malerischen Ruinen, die dort zu bewundern sind. Die kolossalen Türme, die sich an einen bewaldeten Hang lehnen und deren Mauern der Zeit trotzen, heben sich vom grünen Unterholz ab. .... Die Burggräben, die derzeit trocken sind, dienen als Dorfwiese.
Die Türme, die keine Dächer mehr tragen und mit lebenden Pflanzen bedeckt sind, haben noch nicht ganz ihren fantastischen Anblick verloren. Die Innenräume der Burg befinden sich in einem furchtbaren Zustand. Die an einem Ende aufgehängten oder eingestürzten Bodenflächen zeigen das Himmelgewölbe wie durch die Öffnung eines Schachtes... Die fünfunddreißig Fuß hohen Wehrmauern verlaufen von einem Turm zum nächsten und zeigen noch immer, dass sie einst die Stärke dieses Ortes darstellten.
Aber vor allem in der Stille und Ruhe der schönen Sommernächte, wenn der Mond seine geheimnisvolle Gestalt über die verfallene Burg wirft, entfaltet sie ihre ganze Pracht. Wenn dann im Schoß dieser von Zeit und Katapult geschundenen Türme und auf deren Gipfeln ein grüner Wald aus Federn pocht, glaubt man die Schatten der Herren van Witthem zu sehen, die ihre silberfarbigen Wimpel mit himmelblauen Kreuzen wehen lassen. Das Seufzen der Brise verleiht jedem Stein eine Stimme und erzeugt tausend fremde Geräusche in den dunklen Wendeltreppen der Türme. Der Wind, der kräftig durch die Kreuzfenster weht, erschüttert manchmal die Burg, als ob er sie von den Fundamenten rücken wolle. Beim Anblick dieser großen alten Ruine kann man das Gefühl voller Melancholie nicht beschreiben.”
In einer ähnlichen Stimmung trifft Victor Hugo, der 1877 Belgien besucht, auf die Burg Beersel und schreibt folgende Verse auf:
« Il gît là dans le val, le manoir solitaire, Le moindre bruit s’est tu sous ses sombres arceaux, Et chaque heure du jour voit tomber une pierre de ses sombres créneaux. Le corbeau s’est logé dans ses antiques salles, La chouette y redit sa plainte tous les soirs, Et le brin d’herbe croît entre les froides dalles de ses vastes couloirs. »
Nachdem die letzten Bewohner die Burg verlassen hatten, stürzten 1818 Teile der Türme ein und der Burggraben verschlammte vollständig. In der Zeit des ersten Weltkrieges herrschte bereits große Sorge über den endgültigen Verlust der Burgruine, vor allem, weil viele Bewohner von Beersel eifrig die vorhandene Bausubstanz entwendeten. Im Jahr 1914 wurde die Burg unter Denkmalschutz gestellt. Zum Schutz vor weiterer Zerstörung, aber auch wegen der Einsturzgefahr, wurde der Eingang versperrt. Der Bericht der Königlichen Kommission für Denkmäler und Landschaften nach einem Besuch vor Ort am 19.07.1916 beweist, dass der Erlass den weiteren Verfall und den Diebstahl von Baumaterialien nicht aufhalten kann: “Die Delegation hat festgestellt, dass die Aussagen von Herrn Alfred Minner, Architekt in Brüssel, nicht übertrieben sind. Frische Spuren beweisen, dass Kalkstein und Ziegelsteine entwendet wurden:
a) In der obersten Kammer im Turm, der sich links vom Zugangsturm befindet. Der rechte Schornsteinfuß ist vollständig verschwunden, ebenso wie die Fenster- und Türrahmen in diesem Raum. Der Sockel an der Außenseite dieses Turmes wurde ebenfalls beschädigt.
b) Im Südturm wurde der oberste Schornsteinsims des Saales, der noch teilweise überwuchert war, gestohlen. Es wurde versucht, den Kragstein von den Gewölberippen zu entfernen.
c) In der Wehrmauer wurden die Rahmen eines Fensters, welches sich nur unweit des Südturmes befindet, ausgebaut, ebenso die Steine eines Stützpfeilers.
Die Empfehlungen der Kommission lauten wie folgt: “Die Fenster und bestehenden Öffnungen in der Wehrmauer müssen mit Hilfe von Gittern oder Türen dicht gemacht werden, damit Plünderer oder Personen mit bösen Absichten daran gehindert werden, die Innenräume der Ruinen zu betreten.” Der Wachmann, der die Delegation führt, erklärt, dass niemand die Ruinen betreten dürfe. Dies lässt sich leicht widerlegen; mehrere Besucher gravierten nämlich ihre Namen in die Burgmauern ein, u.a. Josse Van den Bossche, Bauunternehmer aus Anderlecht; C. Cassiers 1916; H. Hannut aus Anderlecht; Wauters. In der Zeit kurz nach dem ersten Weltkrieg beabsichtigt eine Reihe von Personen, die Burg zu renovieren.