Artvin Hopalı bir baba ve Trabzonlu annenin 11 çocuğundan biri olan Hilmi Topaloğlu fakir bir çocukluk geçirdi. 

İlkokula devam ederken pazarlarda çalıştı, simit sattı, boyacılık yaptı. Sakarya Meriç Lokantasında önce bulaşıkçılık sonra komilik ve garsonluk yaptı. 1970 yılında Sakaryaspor'da bir sene futbol oynadı. Ayağı kırılınca futbolu bıraktı.

1976 yılında İstanbula gelen Hilmi Topaloğlu, ilk olarak gece kulübü ve barlarda komilik yaptı. Daha sonra komilik ve garsonluk yaptığı bu yerlerde uzun yıllar işletmeci olarak görev yaptı. Türkiye'nin en büyük gazinolarında metrdotel olarak çalışan Hilmi Topaloğlu, müzik sektörüne 1992 yılında girdi. Kardeşi Mustafa Topaloğlu ve İstanbul'a ilk geldiğinden itibaren tanışıp arkadaş olduğu Burhan Aydemir ile birlikte Nokta Müzik firmasını kurdu. Bir müddet sonra Mustafa Topaloğlu firmadan ayrıldı. Hilmi Topaloğlu, Burhan Aydemir ile birlikte yoluna Prestij Müzik olarak devam etti. Daha sonra ise 1994 yılında, firmanın sanatçılarından Mahsun Kırmızıgül de firmanın üçüncü ortağı oldu.

Taksim Eğitim ve Araştırma Hastanesi Beyin Cerrahi Servisi'nde tedavi görürken durumu daha da kötüleşen Topaloğlu, 1 Eylül 2003 tarihinde öldü. Yaşadığı hayata ve müzik dünyasına ithafen aynı sene Neredesin Firuze filmi çekildi. Hilmi Topaloğlu evli ve üç erkek çocuk sahibiydi.