Hospital Mersing mula dibina pada tahun 1917 dan dikenali sebagai "Rumah Sakit Mersing". Bangunan asalnya adalah Bangunan Pentadbiran Pejabat Kesihatan sekarang.

Ia terdiri daripada unit pentadbiran, unit makmal, farmasi, operator dan kecemasan.Bangunan-bangunan lain adalah wad 3, cell, wad bersalin, bilik ketua jururawat dan stor.Pada tahun 1925, wad untuk pesakit TB telah dibina bersama dengan makmal kaji penyakit.

Pada tahun 1932, dua wad lagi telah dibina iaitu wad 5 dan wad 6.Pada tahun 1941 sebuah wad TB khas untuk pesakit lelaki telah dibina iaitu sekarang ini adalah unit Haemodyliasis.Dalam tahun 1950-an kuarters hospital telah dibina.Pada tahun 1960-an, bangunan wad 4 dan asrama telah dibina.Bangunan poliklinik dan stor perubatan telah dibina pada tahun 1979.Pada tahun 1996 bangunan kafetaria telah dibina.Pada tahun 2000, pejabat pentadbiran yang baru telah dibina bersama-sama pembinaan wad paediatrik dan mula diserahkan pada tahun 2002