Tussen de twee boomgaardjes bevindt zich de Ster, een geometrisch figuur bestaand uit tien driehoeken met een cirkel als middelpunt, gevormd door rijen buxussen.

In de zomer zijn de vakken van de Ster gevuld met begonia sempervirens in rood en wit, de wapenkleuren van Zuylen. Aan weerszijden van de ster bevinden zich twee perken met rijk bloeiende fuchsia’s, die ieder jaar een hoogte van 1,5 meter bereiken. In het midden van de ster ziet de zonnewijzerde tijd verstrijken. Het mooiste uitzicht op de Ster had men vanaf de eerste verdieping van het huis, waar de familie woonde.
Vroeger kon men vanuit de tuin van het kasteel de rivier de Vecht zien liggen. In de rij linden achter de ster werd de zichtas naar de rivier altijd open gehouden. Het doel van deze zichtas was overigens tweeledig. Vanuit het huis kon men de Vecht zien, maar vanuit de tuin werd de blik als vanzelf naar het Slot getrokken, zo kon men het statige kasteel in zijn volle glorie bewonderen.