Ο λόφος του Καστελιού, στα ανατολικά του λιμανιού, αποτέλεσε ιδανική θέση για εγκαθίδρυση προϊστορικού οικισμού (της αρχαίας Κυδωνίας) , γιατί όχι μόνο γειτονεύει με τη θάλασσα, αλλά περιβάλλεται και από τον πλούσιο Χανιώτικο κάμπο.
Τα κεραμεικά ευρύματα της μεταβατικής νεολιθικής περιόδου (3.000 - 2.900 π.Χ.) αποτελούν την πρωιμότερη απόδειξη ανθρώπινης δραστηριότητας στο λόφο του Καστελίου
Στη θέση της Κυδωνίας, χτίστηκε αργότερα από τους Βυζαντινούς ένα φρούριο, που σε πολλά του σημεία πατάει πάνω στο αρχαίο τείχος και έχει κατασκευασθεί από τα οικοδομικά υλικά της αρχαίας Κυδωνίας.
Στο Καστέλι ήταν συγκεντρωμένα τα περισσότερα αρχοντικά των παλαιότερων βενετσιάνικων οικογενειών, κτισμένα με τις επιρροές των σύγχρονων ρευμάτων και ιδιαίτερα εκείνο του βενετσιάνικου Μανιερισμού, όπως διαμορφώθηκε από τον 16ο αιώνα. Εκεί υπήρχε επίσης ο μεγαλοπρεπής καθεδρικός ναός των Βενετσιάνων, αφιερωμένος στην Παναγία, ο οποίος καταστράφηκε κατά τους βομβαρδισμούς στον Β’ Παγκόσμιο Πόλεμο.
Στη συνοικία αυτή ζούσαν κάποτε και οι κυριότερες οικογένειες των Τουρκοκρητικών, οι οποίοι πρόσθεσαν τα δικά τους πολιτισμικά στοιχεία στην περιοχή. Στο Καστέλι, υπήρχαν πύλες στα ανατολικά και δυτικά και μια τρίτη στενή πύλη στα νότια, με σκαλοπάτια, που έμεινε με το όνομα "Τα σκαλάκια".