Il nucleo della collezione ha origine nel 1922 quando alcuni dei numerosi artisti che soggiornavano ad Ascona donano una o più opere con lo scopo di creare un museo. Tra le opere più importanti si annoverano, Ritratto di profilo di Marianne Werefkin e Testa di ragazza di Alexeij Jawlensky, Studio per la raccolta della frutta di Cuno Amiet, La casa rossa di Paul Klee e La famiglia di Arthur Segal, donati da Marianne Werefkin insieme ad alcuni suoi dipinti. Altre importanti opere provengono dagli artisti Gordon McCouch, Walter Helbig e Alfred Kohler. La collezione si arricchisce successivamente grazie a nuove e significative donazioni di opere di Julius Bissier, Ben Nicholson, Italo Valenti, una tempera di Marino Marini e una splendida testa di Hermann Haller che ritrae Aline Valangin.

Nel 1995 il Comune di Ascona riceve in donazione la ricca collezione dell'Associazione delle Belle Arti. Nello stesso anno il Comune acquista il Fondo Carl Weidemeyer, architetto e pittore tedesco che nel 1927-28 si stabilisce ad Ascona proponendo un nuovo tipo di architettura. Tra le sue opere più importanti va sicuramente ricordato il Teatro San Materno in stile Bauhaus, realizzato appositamente per la danzatrice Charlotte Bara. Tra le donazioni e acquisizioni più recenti vi sono alcune opere di Niele Toroni, Mario Merz, Minjung Kim, Flor Garduño, Massimo Pedrazzini, Danilo De Marco e Paolo Mazzuchelli.