In de 19e en 20e eeuw speelden de verschillende generaties kasteelbewoners een hoofdrol in het sociale leven van het dorp Zuilen. Niet alleen was de baron pachtheer en werkgever, maar in sommige periodes ook burgemeester. De barones deed veel aan liefdadigheid. In 1900 haalden de dorpsbewoners de nieuwe kasteelheer, na een afwezigheid van bijna twintig jaar, dan ook met blijdschap binnen.
Tot 1951 bleef de familie Van Tuyll van Serooskerken eigenaar van het kasteel. De laatste bewoners brachten het slot, de tuin en veel van de inboedel onder in de Stichting Slot Zuylen, met als doel het geheel in stand te houden. De onderhouds- en personeelskosten waren te hoog geworden voor particuliere bewoning. Al meer dan vijftig jaar is het slot als museum opengesteld voor het publiek. In 1954 werd de gemeente Zuilen opgeheven en deels bij Utrecht, deels bij Maarssen gevoegd.