Hospital Batu Gajah telah dibina dalam tahun 1880 oleh Kerajaan Penjajah Inggeris. Dahulunya ia merupakan sebuah Hospital Besar yang terbahagi kepada dua bahagian iaitu Hospital Eropah dan Hospital Asia atau Melayu.

Hospital Eropah adalah terdiri dari wad kelas 1 yang merawat pegawai Kerajaan Inggeris dan Eropah, Pengurus-Pengurus Estet bangsa Eropah dan Raja-Raja Melayu manakala Hospital Asia yang terdiri daripada wad kelas 2 dan 3 adalah dikhaskan untuk merawat orang awam keturunan Asia dan Pegawai-Pegawai Kerajaan.

Hospital Batu Gajah yang terdiri kukuh di atas sebidang tanah seluas 55 ekar telah dibina di atas Bukit Changkat yang mengadap lanskap hijau yang sangat menarik dan pada mulanya hospital ini ditadbir oleh Pegawai-Pegawai Perubatan, Penyelia, Jururawat dan Ketua-Ketua Jururawat berbangsa Inggeris dan Pegawai-Pegawai Perubatan, berbangsa Asia yang pertama bertugas di hospital ini adalah dari India dan Sri Lanka. Di antara tahun 1940 - 1941, orang-orang Jepun telah mengambil alih, keseluruhan hospital-hospital di Tanah Melayu dan hospital ini pernah dijadikan tempat penyeksaan untuk tahanan wanita dan lelaki.

Pada tahun 1946, Jabatan X-Ray telah ditubuhkan dan ini membantu Hospital Besar Batu Gajah membangun menjadi salah sebuah hospital yang terbaik di Perak. Selepas tahun 1946, Ketua-Ketua Penjajah Inggeris telah mengambil alih semula hospital ini. Satu pusat latihan untuk Jururawat telah ditubuhkan pada tahun tahun 1956. Dalam tahun 1970 pula, sekumpulan Doktor yang dilatih dari Kolej Perubatan King Edward VII, Singapura telah dihantar bertugas di hospital ini.

Pada tahun 1976, Hospital Batu Gajah telah hilang taraf sebagai Hospital Besar selepas Hospital Ipoh dinaikkan taraf ke Hospital Besar dan Hospital Batu Gajah hanya digelar sebagai Hospital Daerah.