Dominant le quartier Maisonneuve de par sa situation en haut du boulevard Pie IX, le château Dufresne fut construit pour les deux frères Oscar et Marius. L’un industriel et l'autre architecte et ingénieur civil pour la ville de Maisonneuve, cet édifice qui ressemble au petit Tiranon de Versaille en France est l'un des premiers édifices en béton armé sur l'île de Montréal.
Cet édifice est de style architectural Beaux-Arts
Cet édifice a été classé Monument historique le 20 décembre 1976 par le Ministère de la Culture, des Communications.
En 1945, le frère de Marius et Oscar déménagea au château alors que ses deux frères étaient déjà décédés. Ce dernier occupa les lieux jusqu'en 1947.
La succession décida alors de vendre l'immeuble à la congrégation Sainte-Croix qui s'en servait comme annexe pour leur école.
En 1957, la ville de Montréal acheta l'immeuble pour en faire un musée d'art contemporain mais en 1969 le laissa vacant jusqu'en 1976.
Après restauration et restitution du mobilier, le château devint le musée des arts décoratifs en 1979.