Zamek w Rynówce swoją pisaną historię rozpoczyna w czternastym wieku, kiedy to komtur gniewski wybudował tu zamek obronny. Wybudowany został jako obronna trójskrzydłowa warownia z kurtynowym murem oraz zwodzonym mostem od południa. Wybrukowany zamkowy dziedziniec leży obecnie 80 cm poniżej poziomu terenu. Do dzisiaj z tego okresu zachował się układ fos, gotyckie piwnice, oraz część parteru.
Zamek w trakcie wieków był wielokrotnie przebudowywany, otoczony parkiem z pięknym starodrzewiem z licznymi pomnikami przyrody (monumentalne buki, kasztanowce,jesiony, lipy drobnolistne, graby,olsze, platany i dęby) na każdym zrobią wrażenie. Z okresem średniowiecza wiążą zamek legendy, jak ta, iż był on połączony podziemnym korytarzem z zamkiem w Gniewie (20 km.), jak i ta, że w czasie wojny szwedzkiej w przedsionku przedzamcza zamku gniewskiego na żelaznym łańcuchu wisiało ogromne zakrzywione żebro. Wydobyto je przed wiekami z ziemi w czasie budowy tej warowni. Mieszczanie przekonywali polskich żołnierzy, iż jest to kość wielkoluda-stolema, który długo niepokoił całą okolicę ze swego grodu w Rynkówce.

W zamku mieściła się też (XVIII w.) kaplica, w ołtarzu której znajdowała się relikwia w postaci głowy św. Felicyty zamknięta w srebrnej puszce. Pisała o tym wizytacyja Ostrowskiego w 1765 roku.