Der herrliche Palast, der heute Sitz der Galleria Internazionale d’Arte Moderna ist, entsteht in der zweiten Hälfte des 17. Jahrhunderts auf Wunsch der reichen Adelsfamilie Pesaro nach dem Plan des größten Architekten des venezianischen Barocks, Baldassare Longhena, der auch die Basilika Santa Maria della Salute und Ca‘ Rezzonico geplant hat.
Der Palast ist prunkvoll und imposant, jedoch mit einer harmonischen und organischen Struktur, und wurde bereits währen der langen Baujahre durch ein ebenso bedeutsames ornamentales System in den Innenräumen bereichert. Davon sind im Palast noch einige Freskoverzierungen und Ölmalereien an den Decken zu sehen, die von Künstlern wie Bambini, Pittoni, Crosato, Trevisani, Brusaferro geschaffen wurden; dazu zählt auch die Decke von Tiepolo mit Zefiro und Flora, die 1935 von hier in das Museum Ca‘ Rezzonico gebracht wurde.