Il grandioso palazzo, ora sede della Galleria Internazionale d’Arte Moderna, sorge nella seconda metà del XVII secolo, per volontà della nobile e ricchissima famiglia Pesaro, su progetto del massimo architetto del barocco veneziano, Baldassarre Longhena, cui si devono anche la Chiesa della Salute e Ca’ Rezzonico.
I lavori iniziano nel 1659 a partire dal versante di terra, con il cortile caratterizzato dalle originali logge, che risulta completato entro il 1676; la prestigiosa facciata sul Canal
Grande raggiunge il secondo piano già nel 1679, ma, alla morte di Longhena nel 1682, il palazzo è ancora incompiuto.
I Pesaro ne affidano il completamento a Gian Antonio Gaspari che lo porta a termine certo entro il 1710, rispettando sostanzialmente il progetto originario.
Nel realizzare Ca’ Pesaro, capolavoro dell’architettura civile barocca veneziana, Longhena si ispira alla classicità sansoviniana, elaborando soluzioni e linguaggi capaci di
esprimere una nuova sontuosa armonia. Ne è esempio la grandiosa facciata sul Canal Grande, dalla composizione complessa, possente eppure equilibrata: sopra uno zoccolo scandito da protomi leonine e mostruose si eleva un severo bugnato a punte di diamante percorso da due file di finestre, aperto al centro da due portali gemelli sormontati da mascheroni e statue. 
Al primo piano appare più esplicito il motivo sansoviniano nell’insistito ritmo chiaroscurale degli archi profondi e delle colonne in evidenza.
Al secondo piano, per mano di Antonio Gaspari, la facciata si arricchisce di ornamentali nei pennacchi e nella trabeazione. Non meno regale è il vastissimo androne, ben disposto lungo l’asse di tutto l’edificio, spazioso e rigoroso nella penombra che si contrappone alla chiara luminosità del cortile, articolato attorno alla monumentale vera da pozzo, cinto da una terrazza e percorso da un porticato a bugne, scandito da lesene doriche e piani superiori a finestre architravate. Sontuoso e imponente, ma armonico e organico nella struttura, il palazzo è arricchito costantemente, già durante i lunghi anni della costruzione da un altrettanto importante apparato ornamentale degli interni.
Di esso, il palazzo conserva ancora oggi alcuni decori a fresco e a olio dei soffitti, dovuti ad artisti come Bambini, Pittoni, Crosato, Trevisani, Brusaferro; tra essi anche il soffitto di G.B. Tiepolo con Zefiro e Flora trasportato da qui al Museo di Ca’ Rezzonico nel 1935.
Ma ben più cospicue risultano dai documenti d’archivio esser state le collezioni della famiglia Pesaro, che annoveravano numerosissime opere di artisti tra cui Vivarini, Carpaccio, Bellini, Giorgione, Tiziano, Tintoretto, oltre ai più noti artisti del Seicento e del Settecento veneziano. Questo ingente patrimonio risulta disperso definitivamente entro il 1830, anno di morte dell’ultimo dei Pesaro, che ne ha venduto all’asta a Londra la maggior parte. Dopo i Pesaro, il palazzo passa ai Gradenigo, poi ai Padri armeni Mechitaristi, che lo utilizzano come collegio. Acquistato infine dalla famiglia Bevilacqua, diviene proprietà della duchessa Felicita Bevilacqua La Masa. È lei a destinare il palazzo all’arte moderna, lasciandolo a questo scopo alla città