On l’a parfois un peu oublié: à sa naissance en 1980, le Musée de l’image abritait, outre un fonds photographique, des collections consacrées à l’estampe et à l’historiographie vaudoise. Mais c’était bien sûr la photo qui en faisait la particularité. «La Suisse romande a enfin un musée de la photographie», se réjouissait ainsi la Gazette de Lausanne (GdL) le 8 novembre 1980. «Le Musée de l’Elysée bénéficie d’une collaboration avec la Fondation nationale pour la photographie de Zurich, présidée par Nicolas Bouvier, et mettra à sa disposition une petite salle pour l’accrochage de quelques pièces de son fonds […] Il abritera un double de son fichier et échangera avec elle ses expositions: une bonne nouvelle pour les Romands, plus besoin de courir au Kunsthaus!» Le deuxième partenaire est l’association lausannoise Photographie contemporaine, qui acquerra des œuvres contemporaines. C’est une femme photographe qui a été la première exposée dans ce cadre, Henriette Grindat. Mais dès l’inauguration, la GdL prévient: «On se demande comment un seul conservateur épaulé par une assistante à mi-temps et une secrétaire viendra à bout de ce riche programme.»

Un an plus tard, l’Elysée n’est encore qu’une «Annexe» de la Fondation de la photographie zurichoise qui fête ses 10 ans, toujours selon la Gazette de Lausanne. Les expositions s’égrainent: Marcel Imsand en 1982, Christian Coigny en 1983, Jean-Philippe Charbonnier et Jean Mohr en 1984… Jusqu’à ce titre accusateur en mars 1985: «La clarté par le vide ou l’incroyable suffisance des responsables de la culture.» Car c’est officiel, la Fondation William Cuendet et Atelier de Saint-Prex retire son somptueux fonds d’estampes de Dürer et Rembrandt pour le déposer au Musée Jenisch. Et le journaliste tonne: «Tricéphale, le Musée de l’Elysée n’a jamais eu de fonction bien définie […] Le Musée de l’Elysée est mort.»