В раннем Средневековье район Кастелло носил название Оливоло, вероятно, потому, что здесь росли оливковые сады. Название «Кастелло» восходит, по всей вероятности, к бывшему, давно исчезнувшему крепостному укреплению, стоявшему в этой местности на восточной окраине Венеции. Этот район почти граничит с площадью Сан Марко, имея в этой своей части все черты центра города. Однако специфический вид Кастелло придают Арсенал и прилегающие к нему рабочие поселения. Здесь Кастелло скорее похож на район для простых людей. Рядом с территорией общественных садов, разбитых при Наполеоне, жилье, представленное зданиями XIX — начала XX в., является относительно доступным по цене.

К тому же в древние времена этот район был достаточно отдален от центров венецианской власти, чтобы правительство Республики разместило здесь резиденцию епископа. Уже по внушительному расстоянию, отделявшему их от Дворца дожей и церкви Сан Марко, было видно, что носители церковной власти не имели никакого политического влияния в городе на воде.