В раннем Средневековье район Кастелло носил название Оливоло, вероятно, потому, что здесь росли оливковые сады. Название «Кастелло» восходит, по всей вероятности, к бывшему, давно исчезнувшему крепостному укреплению, стоявшему в этой местности на восточной окраине Венеции. Этот район почти граничит с площадью Сан Марко, имея в этой своей части все черты центра города. Однако специфический вид Кастелло придают Арсенал и прилегающие к нему рабочие поселения.