Строительство этого дворца эпохи Ренессанса было начато в первой половине XVI в., возможно, Джорджо Спавенто и завершено Антонио Аббондио, прозванным Скарпань-ино. Название «делле Фигуре» дворец получил благодаря двум статуям кариатид (плохо видимых и невыразительных с художественной точки зрения), поддерживающим балкон над главным входом.

Тем не менее эти статуи позволяли отличить дворец Кон-тарини от более двадцати других, находившихся в собственности этой большой семьи.