Στο λόφο που αποτελεί την φυσική ακρόπολη της πόλης, 30 μέτρα περίπου πάνω από τη θάλασσα, ο Σανούδος, έκτισε το Κάστρο της Χώρας, πάνω στα ερείπια της αρχαίας ακρόπολης, χρησιμοποιώντας υλικά από την αρχαία πόλη, η οποία είχε καταστραφεί από τις πειρατικές επιδρομές.
Περνώντας την «Τρανή Πόρτα» μπαίνομε στο μυστηριακό, μεσαιωνικό οικισμό του κάστρου που δεν ήταν μόνο τόπος κατοικίας, αλλά και διοικητικό, εκπαιδευτικό και θρησκευτικό κέντρο των Ενετών κατακτητών.
Στο κέντρο του οικισμού του κάστρου βρίσκεται η πλατεία με την καθολική μητρόπολη και τα ερείπια του πύργου, που η παράδοση θέλει να είναι το παλάτι του Σανούδου.
Δίπλα τους η σχολή των Ουρσουλίνων, η Καπέλλα Καζάτζα και η Εμπορική σχολή όπου φοίτησε για ένα χρόνο και ο Νίκος Καζαντζάκης. Στο κτίριο αυτό στεγάζεται σήμερα το αρχαιολογικό Μουσείο Νάξου.
Τα θαυμάσια αρχοντικά σπίτια του Κάστρου κατοικούνται σήμερα από καθολικούς, απογόνους των Ενετών. Το καθένα από τα αρχοντικά αυτά κρύβει ιστορίες και θρύλους.
