Gedung Merdeka yang terletak di Jalan Asia Afrika Bandung ini, pada tahun 1895, hanya berupa bangunan sederhana.
Bangunan yang mempunyai luas tanah 7.500 meter persegi itu, menjadi tempat pertemuan “Societeit Concordia”, sebuah perkumpulan beranggotakan orang-orang Eropa, terutama Belanda yang berdomisili di Kota Bandung dan sekitarnya.
Pada 1921, bangunan yang diberi nama sama dengan nama perkumpulannya tersebut, yaitu Concordia, dirombak menjadi gedung pertemuan “super club” yang paling lux, lengkap, eksklusif, dan modern di Nusantara oleh perancang CP Wolff Schoemaker dengan gaya Art Deco.
Pada tahun 1940, dilakukan pembenahan pada gedung tersebut agar lebih menarik, yaitu dengan cara merenovasi bagian sayap kiri bangunan oleh perancang AF Aalbers dengan gaya arsitektur International Style. Fungsi gedung ini adalah sebagai tempat rekreasi.
Pada masa pendudukan Jepang, bangunan utama gedung ini berganti nama menjadi Dai Toa Kaikan yang digunakan sebagai pusat kebudayaan. Sedangkan bangunan sayap kiri gedung diberi nama Yamato yang berfungsi sebagai tempat minum-minum, yang kemudian terbakar (1944).
Setelah Proklamasi Kemerdekan Indonesia (17 Agustus 1945), gedung ini dijadikan markas pemuda Indonesia menghadapi tentara Jepang dan selanjutnya menjadi tempat kegiatan Pemerintah Kota Bandung. Ketika pemerintahan pendudukan (1946 – 1950), fungsi gedung dikembalikan menjadi tempat rekreasi.
Menjelang Konferensi Asia Afrika, gedung itu mengalami perbaikan dan diubah namanya oleh Presiden Indonesia, Soekarno, menjadi Gedung Merdeka pada 7 April 1955. Setelah terbentuk Konstituante Republik Indonesia sebagai hasil pemilihan umum tahun 1955, Gedung Merdeka dijadikan Gedung Konstituante.
Ketika konstituante dibubarkan melalui Dekrit Presiden 5 Juli 1959, gedung ini dijadikan tempat kegiatan Badan Perancang Nasional (Bapenas) tahun 1959, kemudian diubah menjadi Gedung Majelis Permusyawaratan Rakyat Sementara (MPRS) dari tahun 1960-1971.
Pada 1965, di gedung tersebut berlangsung Konferensi Islam Afrika Asia. Setelah meletus pemberontakan G30S tahun 1965, Gedung Merdeka dikuasai oleh instansi militer dan sebagian dari gedung tersebut dijadikan tempat tahanan politik. Pada 1966, pemeliharaan gedung diserahkan dari pemerintah pusat ke Pemerintah Daerah Tingkat I Jawa Barat, yang selanjutnya diserahkan lagi pelaksanaannya kepada Pemerintah Daerah Tingkat II Kotamadya Bandung.
Tahun 1968, MPRS mengubah surat keputusannya dengan ketentuan bahwa yang diserahkan adalah bangunan induk gedung, sedangkan bangunan-bangunan lainnya yang terletak di bagian belakang masih tetap menjadi tanggungjawab MPRS.
Tahun 1969, pengelolaan gedung diambil alih kembali oleh Pemerintah Daerah Tingkat I Jawa Barat dari Pemerintah Daerah Tingkat II Kotamadya Bandung. Tahun 1980, seluruh gedung ditetapkan sebagai lokasi Museum Konperensi Asia Afrika.