Mustafa Yıldırım 1945 yılında Artvin ili Ardanuç ilçesi Cevizli Köyü’nde doğdu. İlk ve ortaokulu Ardanuç ilçesinde, liseyi parasız yatılı sınavını kazanarak Kars’ta tamamladı.  

Yıldırım, 1969-1972 yılları arasında Ulus, 1972-1976 yılları arasında Eruh (1975 yılında Yedek Subay olarak askerlik görevini tamamladı), 1976-1980 yılları arasında Sultanhisar, 1980-1982 yılları arasında Elbistan (iki yıl kadar kaymakamlıkla birlikte belediye başkanlığı görevlerini yürüttü.), 1982-1983 yılların arasında Kızılcahamam ve 1983-1986 yılları arasında Alaşehir kaymakamlığı görevinde bulundu. 1986 yılı Aralık ayında Bitlis valiliğine atandı. 
Mustafa Yıldırım 1986-1988 yılları arası Bitlis, 1988-1992 yılları arası Kırşehir, 1992-1997 yılları arası Çorum, 1997-1999 yılları arası Kayseri, 1999-2003 yılları arasında Malatya valiliği yaptı. 

Muhtelif tarihlerde Amerika Birleşik Devletleri, Almanya, Belçika, Fransa, Gürcistan, Azerbaycan ve Türkmenistan Türk Cumhuriyetleri ile Tataristan Özerk Türk Cumhuriyeti’nde tetkik ve incelemelerde bulundu. 
Malatya valisi iken Cumhurbaşkanı tarafından Anayasa Mahkemesi üyeliğine seçilerek 24.02.2003 tarihinde yeni görevine başlamış, 01.02.2010 tarihinde emekliye ayrılmıştır.