A l'origine, le musée comprenait 2 parties. La première retraçait toute l’histoire de la cité au moyen de photos, cartes postales, plans, affiches… La seconde se composait de peintures, aquarelles, gravures consacrées aux peintres de l’Ecole d’Etaples.

Le musée s'enrichit progressivement de dons et de dépôts. Le 3 septembre 1937, Madame veuve Bernier fait don de 28 peintures de son époux. Dans le même temps, Henri le Sidaner, membre de l’Institut et président de l’Académie des Beaux-Arts, offre 12 tableaux dont 5 de sa composition. Edouard Champion, décédé le 28 février 1938, lègue à la ville sa collection de portraits dédicacés.

Pendant la Seconde Guerre Mondiale, les collections sont cachées derrière un faux mur dans le sous-sol de l’Hôtel de Ville. L'hôtel de Ville est endommagé et il faut attendre 1963 pour que le musée ouvre à nouveau ses portes.

En 1989, il s'installe dans un lieu à sa mesure, la villa Way Side construite en 1925 par l'architecte Henri Léon BLOCH. Sous la direction de Jean Couppé-Jacquart et dans le cadre du SIVOM, le musée s’installe dans ses nouveaux locaux où est, en 1991, présentée une nouvelle collection dédiée à la création contemporaine.

En parallèle aux collections de l’Ecole d’Etaples, seront régulièrement organisées des expositions temporaires comme « Les Impressionnistes d’Auvers-sur-Oise », « Henry Moore » et, en 1995, « Jean Dubuffet, Oeuvre Gravé et œuvres du Pas-de-Calais ».

En 1996, le musée redevient communal et s’attache à développer des actions auprès de nouveaux publics notamment par le biais d’un service des publics nouvellement créé.

Devenu « Musée de France » en 2003, ses actions, ses collections lui permettent d’obtenir une 16e place nationale au classement des Musées de France organisé par Le Journal des Arts. Cette reconnaissance auprès du grand public, des Institutions et des médias s’est confirmée en 2004 avec l'exposition consacrée aux Impressionnistes allemands et en 2005 lors de la grande rétrospective dédiée à Jean Dubuffet.