Tòa nhà số 97A đường Phó Đức Chính vốn là một dinh thự rộng gần 6000m2 của “chú Hỏa” (tức Hui Bon Hoa, Hứa Bổn Hoa), một người giàu có vào hàng nhất nhì ở Sài Gòn đầu thế kỷ 20.
Bảo tàng Mỹ thuật được thành lập theo quyết định số 194/QĐ-UB ngày 05 tháng 9 năm 1987 của Ủy ban nhân dân thành phố Hồ Chí Minh. Chức năng của bảo tàng là sưu tầm, lưu giữ, bảo quản, trưng bày các hiện vật mỹ thuật, thủ công mỹ nghệ truyền thống tiêu biểu của thành phố Hồ Chí Minh và các tỉnh thuộc khu vực phía Nam.
Sau khi có quyết định thành lập bảo tàng, nội thất tòa nhà được cải tạo để phù hợp không gian trưng bày còn bên ngoài vẫn được giữ nguyên.
Qua hơn hai mươi năm hoạt động, đến nay bảo tàng đã có hơn 20000 hiện vật, nhiều hiện vật quí hiếm, nhiều bộ sưu tập có giá trị phản ánh lịch sử mỹ thuật khu vực nói chung và của Việt Nam nói riêng theo tiến trình lịch sử. Hơn ba mươi bộ sưu tập hiện có ở Bảo tàng là những bộ sưu tập độc bản tranh, tượng, sản phẩm mỹ thuật cổ… có giá trị lịch sử, tôn giáo, đặc biệt là giá trị thẩm mỹ.
Hiện nay hệ thống trưng bày của bảo tàng chia làm hai phần: mỹ thuật cổ và mỹ thuật hiện đại.
Mỹ thuật cổ trưng bày những hiện vật đặc sắc theo tiến trình lịch sử mỹ thuật: mỹ thuật Óc Eo và hậu Óc Eo; mỹ thuật Chămpa; mỹ thuật thế kỷ 19 – đầu thế kỷ 20; các sưu tập gốm Lý – Trần – Lê; gốm Bát Tràng; gốm men lam Huế; gốm Sài Gòn xưa; đồ thờ cúng bằng chất liệu đồng; đồ gỗ chạm, gỗ cẩn xà cừ…
Mỹ thuật hiện đại gồm các phần trưng bày:
Mỹ thuật đầu thế kỷ 20: trưng bày tác phẩm của các danh họa Việt Nam từng theo học tại trường Mỹ thuật Đông Dương, trường Mỹ thuật Gia Định như Nguyễn Gia Trí, Nguyễn Sáng, Diệp Minh Châu…
Mỹ thuật giai đoạn 1954 – 1975: giới thiệu về ký họa kháng chiến ra đời ở vùng giải phóng và các tác phẩm được sáng tác ở vùng tạm chiếm với trung tâm là Sài Gòn. Đây là một trong những phần trưng bày đặc sắc của bảo tàng với những tác phẩm phản ánh chân thật và sinh động đời sống xã hội lúc bấy giờ của các họa sĩ kháng chiến như Thái Hà, Huỳnh Phương Đông, Lê Lam, Cổ Tấn Long Châu, Quách Phong, Nguyễn Thanh Châu… Có thể nói đây là bộ ký họa giá trị nhất, có số lượng đầy đủ nhất Việt Nam hiện nay.
Mỹ thuật thời kỳ từ 1975 đến nay: trưng bày các tác phẩm của nhiều tác giả nổi tiếng, các tác giả trẻ, kể cả sinh viên mới tốt nghiệp, nhấn mạnh những nét mới trong nghệ thuật tạo hình Việt Nam hiện nay, giới thiệu những xu hướng sáng tá
Bảo tàng Mỹ thuật thành phố Hồ Chí Minh được công nhận là di tích kiến trúc nghệ thuật theo Quyết định số 2212/QĐ-UBND ngày 28 tháng 4 năm 2012 của Ủy ban nhân thành phố Hồ Chí Minh.