Kementerian Pertahanan telah ditubuhkan pada 31 Ogos 1957 dan memulakan operasi rasminya di sebuah bangunan yang terletak di Brockman Road (sekarang Jalan Dato' Onn) , Kuala Lumpur.

Bangunan ini turut menempatkan pejabat Menteri Pertahanan yang pertama iaitu Allahyarham Tun Haji Abdul Razak bin Datuk Hussien yang berkhidmat dari 31 Ogos 1957 hingga 22 September 1970.

Bangunan Kementerian Pertahanan yang pertama telah dibina oleh Kerajaan Persekutuan dengan kos bernilai RM122,000.00 dan telah dirasmikan oleh Tun Haji Abdul Razak bin Datuk Hussein pada 18 Mac 1960. Bangunan yang dibina di Jalan Padang Tembak ini juga menempatkan pejabat Panglima-panglima dan Pegawai Tinggi Angkatan Tentera Malaysia dari ketiga-tiga perkhidmatan.

Akibat kesedaran yang semakin meningkat dalam kalangan pemimpin betapa peri pentingnya pembesaran keanggotaan angkatan tentera, sebuah kompleks yang mengandungi 6 blok setinggi 4 tingkat telah dibina di hadapan Pejabat Bahagian Perkhidmatan Anggota bagi menampung jumlah keanggotaan yang semakin bertambah. Bangunan bernilai RM 2 juta ini telah dirasmikan oleh Tunku Abdul Rahman Putra pada 6 April 1967.

Selepas pengunduran tentera British , Kerajaan Malaysia mengambil langkah drastik untuk meningkatkan tahap keselamatan negara dari sebarang ancaman. Tugas ini dipertanggungjawabkan kepada Kementerian Pertahanan selain mempertingkatkan kecekapan dalam pengurusan keperluan angkatan tentera dari masa ke semasa.

Bagi menampung kesemua agensi di bawah satu bumbung, kerajaan telah membuat keputusan membina satu bangunan baru untuk Kementerian Pertahanan. Sebagai simboliknya, batu asas bangunan tersebut telah diletakkan oleh Timbalan Menteri Pertahanan, Dato' Abang Abu Bakar bin Datu Bandar Abang Haji Mustapha pada 10 Mac 1982. Bangunan baru yang terletak di Jalan Padang Tembak, Kuala Lumpur ini telah dibina dengan nilai RM144 juta dan telah disiapkan pada pertengahan tahun 1985. Bangunan setinggi 20 tingkat ini dikenali sebagai "WISMA PERTAHANAN" yang turut menyediakan ruang-ruang pejabat dan bilik-bilik mesyuarat. Kawasan sekeliling "WISMA PERTAHANAN" yang dikenali sebagai Kompleks Wisma Pertahanan turut menyediakan beberapa kemudahan seperti bangunan tempat letak kereta bertingkat, auditorium, surau, Medan Pertahanan (Padang Kawad), balai pengawal, menara, bilik komputer, 'helipad', kafetaria dan lain-lain.

Kementerian Pertahanan diterajui oleh Menteri Pertahanan dan dibantu oleh seorang Timbalan Menteri. Organisasi Kementerian Pertahanan pula mengandungi dua perkhidmatan utama iaitu Perkhidmatan Awam yang diketuai oleh Ketua Setiausaha manakala Angkatan Tentera Malaysia (ATM) diketuai oleh Panglima Angkatan Tentera.