Gần cuối thế kỷ 19, chính quyền thực dân Pháp tiến hành xây dựng nhiều công trình tại trung tâm thành phố Sài Gòn. Trên khuôn viên rộng lớn bao quanh bởi bốn con đường La Grandière (Lý Tự Trọng), Mac Mahon (Nam Kỳ Khởi Nghĩa), Palanca (Lê Thánh Tôn) và Pellerin (Pasteur), chính quyền cho xây dựng một bảo tàng thương mại để trưng bày các sản phẩm địa phương. Công trình Bảo Tàng thành phố do kiến trúc sư Foulhoux thiết kế, khởi công xây dựng vào năm 1885. Sau khi khánh thành vào năm 1890, Thống đốc Nam Kỳ là Henri Eloi Danel sử dụng làm dinh thự, vì vậy tòa nhà này được gọi là dinh Thống đốc Nam Kỳ hay Soái phủ Nam Kỳ.
Sau ngày Nhật đảo chính Pháp 9 tháng 3 năm 1945, nơi đây trở thành dinh thự của Thống đốc Nhật Yoshi Minoda.
Tháng 7 năm 1945 Nhật đầu hàng quân Đồng Minh, dinh được giao cho chính phủ Bảo Đại – Trần Trọng Kim làm dinh Khâm sai.
Trong cuộc Cách mạng tháng Tám năm 1945, Ủy ban Khởi nghĩa do Xứ ủy Nam Kỳ lãnh đạo quyết định chiếm dinh Khâm sai Nam Kỳ, treo cờ làm tín hiệu khởi nghĩa cho toàn thành phố. Cách mạng tháng Tám thành công, Ủy ban Hành chánh lâm thời Nam Bộ đặt trụ sở tại đây.
Khi Pháp tái chiếm Nam Kỳ vào cuối tháng 9 năm1945, tòa nhà là trụ sở của phái bộ Đồng Minh. Ngày 30 tháng 11 năm 1945 nghi lễ quân đội Đồng Minh tiếp nhận gươm báu đầu hàng của phát xít Nhật được tổ chức tại đây. Một thời gian sau nơi đây là trụ sở của Cao ủy Cộng hòa Pháp.
Từ ngày 23 tháng 5 năm 1947 Pháp giao dinh cho Lê Văn Hoạch làm trụ sở chính phủ Nam Kỳ tự trị.
Từ ngày 2 tháng 6 năm 1948 đổi thành dinh Thủ hiến Nam Phần, sau đó là dinh Thủ tướng của chính quyền Bảo Đại.
Khi lên cầm quyền, Ngô Đình Diệm đã dùng tòa nhà làm dinh Quốc khách, thường được gọi là dinh Gia Long theo tên con đường phía trước tòa nhà.
Ngày 27 tháng 2 năm 1962 dinh Độc Lập bị ném bom, Ngô Đình Diệm dời phủ Tổng thống sang đây. Ngô Đình Diệm đã cho xây dựng một hầm trú ẩn trong dinh. Hầm do kiến trúc sư Ngô Viết Thụ thiết kế, được xây dựng từ tháng 5 năm 1962 đến tháng 10 năm 1963 mới hoàn thành.
Năm 1966, phủ Tổng thống dời về lại dinh Độc Lập, nơi đây được sử dụng làm trụ sở của Tối cao pháp viện chính quyền miền Nam Việt Nam.
Sau ngày 30 tháng 4 năm 1975, Ủy ban Quân quản Sài Gòn – Gia Định sử dụng tòa nhà làm nơi sinh hoạt văn hóa, biểu diễn nghệ thuật và triển lãm các chuyên đề thời sự phục vụ đồng bào.
Ngày 12 tháng 8 năm 1978, nơi đây trở thành Bảo tàng Cách mạng thành phố Hồ Chí Minh. Ngày 13 tháng 12 năm 1999, Bảo tàng Cách mạng được đổi tên thành Bảo tàng thành phố Hồ Chí Minh.
Ngày nay Bảo tàng thành phố Hồ Chí Minh đã trở thành một địa chỉ lịch sử văn hóa quen thuộc của khách tham quan trong và ngoài nước với khoảng 300000 lượt khách tham quan hàng năm. Với chức năng nhiệm vụ nghiên cứu, sưu tầm, lưu giữ, trưng bày và giới thiệu về lịch sử hình thành và phát triển của thành phố Hồ Chí Minh, hiện Bảo tàng có diện tích trưng bày trên 2000m2, gồm các nội dung: Thiên nhiên – Khảo cổ; Địa lý – Hành chính; Thương cảng – Thương mại và Dịch vụ; Đấu tranh cách mạng 1930 – 1954; Đấu tranh cách mạng 1954 – 1975; các chuyên đề như: “Kỷ vật kháng chiến”, “Đám cưới Nam Bộ”, “Nghệ thuật sân khấu cải lương”, “Tiền Việt Nam”, “Vài nét về dinh Gia Long và đường hầm trong dinh”. Bảo tàng còn có phần trưng bày ngoài trời các đề tài về phương tiện vận chuyển, sinh hoạt, chiến đấu… của người dân thành phố Hồ Chí Minh.
Bảo tàng thành phố Hồ Chí Minh được công nhận là di tích kiến trúc nghệ thuật theo QĐ số 1206/QĐ BVHTTDL ngày 29/3/2012 của Bộ Văn hóa, Thể thao và Du lịch.