Sejarah awal penubuhan sesebuah kementerian di Tanah Melayu pada asasnya bermula daripada kewujudan jabatan-jabatan kecil yang ditubuhkan semasa era pemerintahan British. Perkembangan ini menjadi lebih ketara selepas termeterainya Perjanjian Pangkor 1874 pada 17 hingga 20 Januari 1874, yang menandakan permulaan campur tangan rasmi British dalam pentadbiran Negeri-negeri Melayu.

Sebelum perjanjian tersebut, antara jabatan terawal yang diwujudkan di bawah pentadbiran ‘Crown Colony’ ialah Public Works Department (PWD), yang kemudiannya dikenali sebagai Jabatan Kerja Raya (JKR), ditubuhkan pada tahun 1872. Penubuhan jabatan ini bertujuan menyediakan infrastruktur asas bagi menyokong pembangunan sosio-ekonomi serta sistem pentadbiran British di Negeri-negeri Selat yang meliputi Singapura, Melaka, Perak (Dinding), Seberang Perai dan Pulau Pinang. Individu pertama yang dilantik mengetuai jabatan ini ialah J.F.A. McNair, yang ketika itu berkhidmat sebagai Jurutera Kolonial Negeri-negeri Selat.

Perkembangan penting seterusnya berlaku pada tahun 1954 apabila kerajaan British memisahkan pentadbiran Tanah Melayu daripada pusat pentadbirannya di Singapura. Langkah ini membuka ruang kepada jabatan-jabatan kerajaan di Tanah Melayu untuk merangka dan melaksanakan dasar serta program pentadbiran secara lebih autonomi.

Pada tahun 1955, Pilihan Raya Persekutuan pertama bagi Majlis Mesyuarat Perundangan telah diadakan, menandakan peralihan kuasa secara berperingkat daripada pentadbiran British kepada rakyat tempatan. Dalam pilihan raya tersebut, Parti Perikatan yang terdiri daripada United Malays National Organisation, Malayan Chinese Association dan Malayan Indian Congress telah memenangi majoriti kerusi, manakala Parti Islam Se-Malaysia memperoleh satu kerusi.

Seterusnya, pada tahun 1956, Ketua Menteri bersama beberapa orang Menteri telah dilantik untuk menerajui Kerajaan Persekutuan Tanah Melayu. Pada tahun yang sama, beberapa kementerian telah diwujudkan termasuk Kementerian Kerja Raya yang pada asalnya dikenali sebagai Kementerian Kerja Raya, Pos dan Telekom. Menteri pertama yang mengetuai kementerian ini ialah Sardon Jubir. Dalam struktur ini, fungsi dan tanggungjawab Jabatan Kerja Raya dikekalkan di bawah pentadbiran kementerian tersebut, manakala Pengarah JKR bertanggungjawab terus kepada Menteri dalam hal-hal berkaitan dasar.

Seiring dengan perkembangan pesat pembangunan negara, kementerian ini telah melalui beberapa penstrukturan semula. Pada tahun 1975, namanya ditukar kepada Kementerian Kerja Raya dan Pengangkutan, diikuti dengan penjenamaan semula pada tahun 1978 sebagai Kementerian Kerja Raya dan Kemudahan Awam. Namun demikian, selaras dengan pengkhususan fungsi dan tanggungjawab, pada tahun 1980-an kerajaan telah menetapkan nama rasmi kementerian sebagai Kementerian Kerja Raya Malaysia, yang kekal digunakan sehingga kini.