Strategiczne położenie zamku pozwalało jej weneckiemu władcy kontrolować cieśniny pomiędzy zachodnią Kretą a Peloponezem.
Pomimo tego, Wenecjanie nie zapobiegli okupacji Krety przez Turków. W 1645 po krótkim oblężeniu Turcy zajęli Chanię i do 1669 podbili całą Kretę. Traktat Morozini zezwalał Wenecjanom zachować kontrolę nad zamkiem Gramvousa (a także wysepkami Souda i Spinalonga) z nadzieją, że pewnego dnia odzyskają kontrolę nad Kretą. Gramvousa była wykorzystywana jako baza przez Wenecjan, którzy próbowali bezskutecznie odzyskać Kretę, ale także przez Kreteńczyków, którzy opierali się rządom Osmańskim. W lecie 1692 roku zamek został przekazany Turkom przez weneckiego dowódcę Kalabrii, Luca Della Rocca. W zamian Turcy przyznali mu jakąś władzę w Stambule i zaczęli go ironicznie nazywać "Kapitan Gramvousa".
Następnie ufortyfikowali zamek 66 działami dalekiego zasięgu, umieścili w nim silne oddziały i uczynił go niedostępnym. Przez wiele lat po tym, wszystkie rewolucyjne działania Kreteńczyków były ograniczone do minimum. W czasie rewolucji Grecji przeciwko Turkom, Gramvousa odegrała bardzo ważną i decydującą rolę. Po kilku próbach zamek został ostatecznie zdobyty przez kreteńskich powstańców w 1825 roku, gdy niektórym z nich udało się dostać do środka w przebraniu Turków.
Gramvousa była pierwsza częścią Krety, która została wyzwolona spod panowania otomańskiego. Służyła jako schronienie dla ponad 3000 osób i stała się punktem wyjścia dla wszystkich działań rebeliantów. Grupy rebeliantów zwanych "Kalisperides" zaczynały w Gramvousie i terroryzowały Turków, którzy wykorzystywali swoje siły zbrojne Zourides do robienia zasadzek przeciwko chrześcijanom.
Jednak ze względu na trudne warunki życia, ludzie z Gramvousy zaczęli uprawiać piractwo i atakować wszystkie łodzie przepływające pomiędzy Gramvousa i Antikithira, co wzburzyło europejską opinię publiczną przeciwko piratom. Po podpisaniu umowy z rządem greckim, od 1828 roku marynarki Francji i Wielkiej Brytanii okupowały zamek i wypędziły piratów. Protokół z Londynu pozostawił Kretę w rękach osmańskich, a w 1831 roku Rosyjska Straż Gramvousy oddała zamek z powrotem Turkom jako ostateczny znak międzynarodowej sprawiedliwości.