Müze binası, ilk olarak 1900 tren istasyonu olarak yapılmış. 1939 yılında işlevini tamamlayan yapı yıllar boyunca çeşitli amaçlar için kullanılmış. 1970 yılında yıkımı gündeme gelen bina, 1977 yılında müzeye dönüştürülmüş. Günümüzde Dorsay Müzesi şehrin en önemli müzelerinden biri olarak kabul edilmekte. Empresyonizm sanatçılarının birçok ünlü eserini burada görebilirsiniz.