Trường Cán bộ Quản lý Giáo dục thành phố Hồ Chí Minh vốn là một phần của Quân Y viện Coste của quân đội Pháp thành lập vào năm 1905 trên nền của trường D’Adran.
Sau năm 1954, công trình Quân Y viện được sử dụng làm trường học, một phần là trường Trưng Vương, phần còn lại là trường Sư phạm Nam Việt. Tháng 9 năm 1956 trường Võ Trường Toản được thành lập trên cơ sở vật chất của trường Sư phạm Nam Việt .
Sau năm 1975, một phần công trình của trường Trưng Vương được tách ra để làm trường Cán bộ quản lý và Nghiệp vụ thuộc Bộ Giáo dục Thanh niên Chính phủ Cách mạng lâm thời Cộng hoà miền Nam Việt Nam.
Tháng 10 năm 1990, Bộ Giáo dục và Bộ Đại học, Trung học chuyên nghiệp sáp nhập, Bộ trưởng Bộ giáo dục và Đào tạo ký quyết định đổi tên trường thành Trường Cán bộ quản lý và Đào tạo II trực thuộc Bộ Giáo dục & Đào tạo.
Đầu năm 1997, Bộ trưởng Bộ Giáo dục và Đào tạo ký quyết định sát nhập Trung tâm bồi dưỡng giáo viên và thông tin giáo dục vào trường Cán bộ quản lý và Đào tạo II.
Tháng 4 năm 2008 trường Cán bộ Quản lý Giáo dục & Đào tạo II đã được đổi tên thành Trường Cán bộ Quản lý Giáo dục Thành phố Hồ Chí Minh.
Năm 1997, công trình được xây dựng thêm dãy nhà A ở mặt tiền, dãy nhà B được xây dựng từ thời Mỹ, chỉ còn dãy nhà C vẫn giữ nguyên được hình dáng ban đầu.
Công trình mang phong cách kiến trúc Pháp đã góp phần làm phong phú cho di sản kiến trúc đô thị trên địa bàn quận 1 thành phố Hồ Chí Minh.
Từ ngày thành lập đến nay, trường Cán bộ Quản lý Giáo dục thành phố Hồ Chí Minh đã không ngừng phát triển và lớn mạnh góp phần cho sự nghiệp giáo dục của Việt Nam.