Академия расположена в здании бывшей Скуола Гранде делла Карита церкви Сайта Мария делла Карита и одноименном монастыре. Название «Академия» напоминает о выдающейся коллекции картин, появившейся благодаря учебной коллекции основанной в 1750 г. Академии живописи.

Фасад здания Академии, в котором сейчас находится главный вход в Музей, был сооружен Бернардо Маккаруцци в 1760 г. по планам Джорджо Массари. При Наполеоне частная Академия была преобразована в официальную Высшую школу искусств. Тогда же ей были переданы прилегающие здания скуолы. Произведения искусства, изъятые из храмов и монастырей во времена Наполеона, а также многочисленные частные пожертвования увеличили фонды Галереи Академии, ставшей в 1807 г. публичным музеем.

Собрание Академии считается одной из самых значительных коллекций Италии, представляющей венецианскую живопись с XIII до позднего XVIII в.

Любопытно, что в Галерее хранятся эскизы и чертежи Кваренги, выполненные для Москвы и Петербурга.