Van het kasteel Te Vliet in het buurtschap Rozendaal van de voormalige heerlijkheid Te Vliet aan de Goudsestraatweg tussen Haastrecht en Oudewater, rest alleen nog een stuk muur van 135 centimeter dik. Aan twee kanten is nog te zien dat er een gracht was. Vermoedelijk had het kasteel vroeger een voorburcht aan de zuidzijde. De donjon (woontoren) had een kelder. Het stuk muur is waarschijnlijk de noordkant daarvan. In deze wand is het restant van een venster en een schoorsteenkanaal te zien.
Gerrit van Vliet bij moord op Floris V?
Het slot werd waarschijnlijk gebouwd tussen 1250 en 1300 door Gerrit I van Woerden, getrouwd met Ada van den Binckhorst. Gerrit was de broer van Herman VI van Woerden, de man die in 1296 betrokken was bij de moord op Graaf Floris V. Ook Gerrit van den Vliet was enige tijd verdachte in deze zaak, maar hij werd vrijgesproken. Na de bouw van zijn kasteel, dat volgens sommigen daar was gebouwd om er tol te heffen van passanten via de Hollandsche IJssel. ging hij zich Heer van Vliet noemen.
Jan van Vliet vergiftigde Jan zonder Genade
In 1404 was zijn nazaat Jan II van Vliet (1390-1424) kasteelheer. Hij was getrouwd met niemand minder dan Beatrice van Beieren, de bastaarddochter van Willem VI van Beieren, Graaf van Holland, Zeeland en Henegouwen. Jan II werd de hofmeester van zijn schoonvader aan het Haagse Hof. Na Willems dood werd Jan II hofmeester van Willems bikkelharde broer Jan van Beieren, bekend als Jan zonder Genade. Volgens de overlevering heeft Jan van Vliet hem in 1425 op verzoek van zijn schoonzus , de gravin Jacoba van Beijeren, vergiftigd door de pagina's van het getijdenboek van de graaf met gif in te smeren.
Jan van Vliet werd ervoor opgepakt en veroordeeld. Daarna werd hij onthoofd en gevierendeeld. Zijn resten werden in de vier grote steden bij de poorten gehangen als afschrikwekkend voorbeeld.
Het kasteel was in 1497 al in zo’n slechte staat dat het geen gevangenen kon opnemen. In 1515 stond alleen de donjon er nog.
De heren van den Vliet bemoeiden zich weinig met het reilen en zeilen van de stad Oudewater.
1562 Jan IV van den Vliet was de baljuw van Oudewater, waar hij ook woonde. Hij trouwde met Maria van Duivenvoorde en stierf in 1584. Hun enige zoon Hubert volgde kort daarop. Misschien werd daarom het slot, dat na de inname van Oudewater mogelijk verder ontmanteld is, nooit opgeknapt. Huberts zus Hendrina huwde in 1604 met Jan van Doornik en kregen een dochter die ook jong overleed.
De heerlijkheid met de restanten werd toen geërfd door Jans neef Antonis van Woerden van Vliet die trouwde met Geertruyt van Bronkhorst. Na Antons dood ging het over op zijn zus Maria en toen zij kinderloos overleed naar hun jongste zus Emerentia.
Anna laatste nazaat van Gerrit van Woerden
Hun achternichtje jonkvrouw Anna van Woerden van Vliet kreeg in 1605 als laatste telg de heerlijkheid in bezit, het kasteel was toen allang een ruïne. In 1624 stierf deze laatste erfgename van de stichters van het kasteel die getrouwd was met Andries van Bronkhorst.
Anna’s zwager, jonker Willem van Bronkhorst, kreeg het na haar overlijden in handen.
Driehonderd jaar lang was het toen in eigendom geweest van de nazaten van de stichter Gerrit van Woerden.
In een boek van Gouthoven uit 1632 staat dat kasteel Te Vliet een ruïne is; "vergaan, maar niet gevallen." Van Te Vliet is niet bekend of er ooit een belegering of slag heeft plaatsgevonden.
Toen stadhouder Willem III het gebied tijdens het Rampjaar in 1672 bezocht, trof hij er volgens de verslagen een bouwval aan.
Van Bronkhorst, naar Van Bourgogne, Rubempré naar Bisdom
Het was toen door overeving van de Bronkhorsts overgegaan naar graven van Bourgogne, gevolgd door vorsten van Rubempré.
De heerlijkheid, met de ruïne werd in 1755 door de Goudse koopman Theodorus Bisdom gekocht van Maximiliaan Leopold van Merode, prins van Rubempré, zodat hij de titel Heer van Vliet kon dragen. Deze familie Bisdom van Vliet kreeg in en rond Haastrecht bestuurlijk wel veel in de melk te brokkelen.
De stichting Bisdom van Vliet, waarin alle familiebezittingen werden ondergebracht door laatste telg van de familie jonkvrouwe Paulina Maria Lefèvre de Montigny-Bisdom van Vliet, waarover elders meer, verkocht het restant in 1985 aan de particulier G. Pons.