Το κάστρο Castell Rosso ή Κοκκινόκαστρο της Καρύστου δεσπόζει στους πρόποδες της Όχης. Βρίσκεται μόλις τέσσερα χιλιόμετρα από την Κάρυστο μεταξύ των χωριών Γραμπιά και Μύλοι.

Βρίσκεται επάνω σε ένα κωνικό ύψωμα, κάπως μακριά από τη θάλασσα και τους πειρατικούς κινδύνους και δεσπόζει σε όλη την πεδιάδα που απλώνεται από κάτω μέχρι την παραλία.

Το κάστρο ονομαζόταν από τους Λατίνους «Castel Rosso» , ενώ οι Έλληνες διατήρησαν την ονομασία σαν «Κοκκινόκαστρο». Το όνομα οφείλεται στις κόκκινες πέτρες με τις οποίες έχει κτιστεί - από τα σχιστολιθικά πετρώματα της περιοχής - που του δίνουν μια κοκκινωπή απόχρωση.

Το κάστρο κτίστηκε από τους Λομβαρδούς, αλλά καθ' όλη τη διάρκεια της Φραγκοκρατίας το διεκδίκησαν Βυζαντινοί, Φράγκοι, Βενετοί, οι οποίοι τελικά και παρέμειναν ως κύριοι του μέχρι την κατάληψη της Εύβοιας από τους Τούρκους.

Το πρώτο φρούριο στο λόφο του σημερινού κάστρου χτίστηκε από τους Βυζαντινούς το 1030. Το μεσαιωνικό Καστέλλο Ρόσσο κτίστηκε πάνω στις βυζαντινές βάσεις κατά μια εκδοχή μεταξύ 1209 - 1216 από το Βερονέζο (δηλ. Λομβαρδό) βαρόνο Ραβανό Δαλεκάρτσερι (Ravano dalle Carceri, ή Ραβάνο Ντάλλε Καρτσέρι) τον άρχοντα του τριτημορίου της νότιας Εύβοιας, ενός από τα τρία φέουδα του Ενετικού Βασιλείου του Νεγρεπόντε.

Γύρω απ' το Καστέλο Ρόσσο δημιουργήθηκε μια πόλη, αφού οι κάτοικοι της Καρύστου έκτιζαν τα σπίτια τους κοντά στο κάστρο, για λόγους ασφάλειας.

Δεκαετίες αργότερα, οι Βυζαντινοί επέστρεψαν στο νησί. Ο περιβόητος ιππότης Λικάριος, στην υπηρεσία του Βυζαντινού Αυτοκράτορα Μιχαήλ Η' Παλαιολόγου, οδήγησε ένα Βυζαντινό στράτευμα κάτω από τα τείχη της Καρύστου, και μετά από τη στενή πολιορκία το εκπόρθησε το 1276 και εγκατέστησε εκεί βυζαντινή φρουρά. Όμως η Κάρυστος δεν έμεινε για πολύ στα χέρια των Βυζαντινών. Το 1295 ο Βονιφάτιος ντα Βερόνα, ευνοούμενος του Δούκα της Αθήνας, εγγονός του Γουλιέλμου του Α' κατ' όνομα βασιλιά της Θεσσαλονίκης, θεωρώντας ότι η Κάρυστος αποτελούσε φέουδο της συζύγου του Agnes De Cicon, μετά από πολιορκία εκδίωξε τη βυζαντινή φρουρά και κατέλαβε το φρούριο, το οποίο κράτησε μέχρι το τέλος της ζωής του. Σημειωτέον ότι από τότε οι Βυζαντινοί δεν επέστρεψαν ποτέ πια στην Εύβοια.

Μετά το θάνατο του Βονιφάτιου το 1318, η Κάρυστος και το κάστρο των Αρμένων, στα Στύρα, ένα άλλο σπουδαίο κάστρο της Εύβοιας, περιήλθαν στην εξουσία του Καταλάνου πρίγκιπα Αλφόνσο Φαδρίγου ντ' Αραγκόν, συζύγου της κόρης του Βονιφάτιου, Μαρούλας.

Όλο αυτό το χρονικό διάστημα οι Βενετοί δεν έπαψαν να ενδιαφέρονται για το λιμάνι της Καρύστου, το οποίο θεωρούσαν χρήσιμο για το θαλάσσιο εμπόριό τους. Για το λόγο αυτό ζητούσαν επίμονα από το Φαδρίγο να τους πουλήσει την Κάρυστο. Τελικά πέτυχαν το σκοπό τους και στα 1359 κατάφεραν να αγοράσουν τη βαρονία της Καρύστου από το γιο του Βονιφάτιο ντ' Αραγκόν, αντί του ποσού των 6.000 δουκάτων, πριν προφτάσουν να γίνουν κύριοι της Καρύστου, οι Ιωαννίτες ιππότες της Ρόδου, οι οποίοι επίσης εποφθαλμιούσαν το επίμαχο αυτό σημείο.

Εκείνη την εποχή, λέγεται, ότι το κάστρο της Καρύστου ήταν τόσο καλά οχυρωμένο και τόσο ισχυρό, ώστε 30 μόνο πολεμιστές ήταν αρκετοί να το υπερασπιστούν αποτελεσματικά.

Κάτω από την εξουσία των Ενετών όμως η Κάρυστος παρήκμασε. Οι περισσότεροι κάτοικοι προτίμησαν να μεταναστεύσουν στο γειτονικό Δουκάτο των Αθηνών. Η πληθυσμιακή παρακμή έφερε και την οικονομική παρακμή. Αυτή η κατάπτωση οδήγησε τους Βενετούς πρώτα στην εκμίσθωσή της, στην ιταλική οικογένεια Ιουστινιάνι το 1386 και κατόπιν το 1406 στην παραχώρηση της βαρονίας στο Nicolo Zorzi.

Η Κάρυστος ποτέ δεν ξαναβρήκε την παλιά της αίγλη και τελικά το καλοκαίρι του 1470, μετά την κατάληψη της Χαλκίδας από τους Τούρκους, ύστερα από έναν αιώνα απόλυτης κυριαρχίας εγκαταλείφθηκε σιωπηρά και άδοξα από τους Βενετούς και από τους Zorzi, αφήνοντας τους κατοίκους στο έλεος των Τούρκων.

Μετά την αποχώρηση των Βενετών, την Κάρυστο κατέλαβαν οι Τούρκοι του Κοτζά Μαχμούτ πασά, οι οποίοι την ονόμασαν Κιζίλ Χισάρ. Οι Έλληνες συνέχισαν να κατοικούν γύρω από το Καστέλο Ρόσσο και να διατηρούν ακόμη και μικρές εκκλησίες εκεί, μέχρι τα τέλη του 17ου αιώνα, όταν διώχτηκαν, εξαιτίας της συμμετοχής τους με το μέρος των Βενετών στο ενετοτουρκικό πόλεμο που ξέσπασε το 1684.

Τον 19ο αιώνα, από τις αρχές του απελευθερωτικού αγώνα, οι Έλληνες έβαλαν στόχο την κατάληψη του κάστρου. Ο Οδυσσέας Ανδρούτσος, ο Νικόλαος Κριεζώτης γνωστός ως «λιοντάρι της Εύβοιας» και ο Γάλλος φιλέλληνας Φαβιέρος το πολιόρκησαν δίχως αποτέλεσμα και με οδυνηρές απώλειες. Αυτά μέχρι το 1826. Έκτοτε δεν έγινε άλλη προσπάθεια. Το κάστρο άνοιξε τις πόρτες του στους Έλληνες μετά την απελευθέρωση και την αποχώρηση των Τούρκων, το Μάρτιο του 1833.