El grandioso palacio, ahora sede de la Galleria Internazionale d’Arte Moderna, fue construido en la segunda mitad del siglo XVII, por deseo de la noble y rica familia Pesaro, a partir de un diseño del mayor arquitecto del barroco veneciano, Baldassarre Longhena, al que también se deben la Iglesia de la Salud y Ca’ Rezzonico.

Suntuoso e imponente, pero de estructura armoniosa y orgánica, el edificio se enriqueció constantemente, ya durante los muchos años que tardó su construcción con un igualmente importante aparato ornamental de sus interiores. De esta, el edificio aún conserva algunos frescos y decoraciones al óleo de los techos, creados por artistas como Bambini, Pittoni, Crosato, Trevisani, Brusaferro, entre ellos también se encuentran el techo de Tiepolo con Céfiro y Flora, que se trasladó de aquí al Museo de Ca’ Rezzonico en 1935.