La famille Van der Noot est propriétaire de ce château depuis un certain temps. Wouter V van der Noot, chevalier et chambellan du duc de Brabant , Philippe le Bon , acquit le domaine de Terrest en 1464. Karel van der Noot fit construire un nouveau château avec étangs à l'emplacement actuel en 1480. C'était une forteresse avec quatre fortes tours d'angle. Le vicomte Théodore de Neulant de Pottelsberghe fait démolir les tours et rénove le château dans un style néoclassique (1868-69). Il fit également construire le parc paysager.

En 1893, le château passa aux mains de l'épouse du baron Ferdinand Jolly par mariage. A partir de 1918, le château passe entre les mains d'Hubert Jolly qui décide de le mettre en location. Après un drame familial, Jules Delannoy et sa famille décident de s'installer au Kasteel Ter Rijst en 1922. Ils ont loué le château avec tous les accessoires tels que mobilier, jardins, pavillons et droits de chasse et de pêche. Durant leur séjour, Delannoy fait effectuer d'importants travaux de rénovation. Les toitures ont été remplacées et le chauffage central a été installé dans les deux ailes habitées du château.

Pendant leur séjour, ils organisent de nombreuses fêtes de chasse et banquets. La famille organise également plusieurs services religieux dans la chapelle du château, tels que des baptêmes et des communions. Les funérailles d'un de leurs enfants décédé au château à l'âge de deux ans ont également eu lieu ici. Ces offices étaient rendus par le curé d'Enghien de l'époque.

Leurs fortes convictions sont également perceptibles après que Jules Delannoy ait échappé à la mort dans un accident de voiture près du château. Il fit immédiatement restaurer à ses frais la chapelle Sint-Job (située à Heikruis à l'intersection de la Mortaignestraat et de la Neerstraat) afin de témoigner sa reconnaissance à son ange gardien.

En novembre 1939, Jules Delannoy meurt au château à l'âge de 55 ans. Sa famille quitte le château le 9 mai 1940, un jour avant le déclenchement de la Seconde Guerre mondiale. Elisabeth van der Noot d'Assche a ensuite emménagé. Pendant la Seconde Guerre mondiale , elle était la maîtresse du gouverneur militaire Alexander von Falkenhausen . Celui-ci étant tombé en disgrâce, les Allemands procédèrent à une perquisition du domaine (fin juillet 1944).

Après la Seconde Guerre mondiale, le château est loué par M. Van Lier. En 1966, le bail est repris par le promoteur immobilier Jean Baptiste L'Ecluse. Le Bruxellois, président de RWDM , a acquis le domaine fin 1972 par l'intermédiaire de sa Delec NV. Il organisait des fêtes sauvages et des chasses au sanglier. 

En 1981, le domaine a été donné à l' Etat belge par NV Delec . Il est ensuite devenu la propriété de la Communauté flamande par régionalisation .