Tòa nhà xây dựng năm 1881 do kiến trúc sư người Pháp là Bou¬rard thiết kế theo phong cách baroque, có dạng hình chữ H gồm tầng hầm, tầng trệt và lầu 1. Nội thất rộng rãi với nhiều tác phẩm điêu khắc, tượng đồng cổ như: thần Công Lý, thần Đoàn Kết cùng các hoa văn, họa tiết, hình tượng sinh động. Bên trong phòng xét xử được thiết kế uy nghi trang nghiêm.

Người Pháp xây dựng và sử dụng công trình cho cơ quan xét xử đã hơn 100 năm, các chính quyền đương thời đều sử dụng công trình cho mục đích ban đầu. 

Năm 1961, khối nhà sau (giáp đường Nguyễn Trung Trực) được xây dựng bổ sung với sàn bê tông cốt thép, tường gạch mái ngói làm cho công trình được mở rộng hơn trên cơ sở đảm bảo sự hài hòa và giữ gìn phong cách kiến trúc cổ.

Tòa án nhân dân Thành phố Hồ Chí Minh được công nhận là di tích kiến trúc nghệ thuật theo QĐ số 1208/QĐ-BVHTTDL của Bộ Văn hóa, Thể thao và Du lịch ngày 29 tháng 3 năm 2012.