Küçük yaşta müzik eğitimine başladı. Henüz dört-beş yaşlarındayken bir tahta parçasının üzerine ipler germiş ve saatlerce bunlardan ses çıkarmaya uğraşmıştı. İstanbul’da keman, armoni ve bestecilik dersleri aldı. Mercan Sultanisi’ne girdiği zaman mektepte bir flüt ve borazan takımı vardır ve Fehmi Ege kısa bir zamanda bu takımın maestrosu oluvermişti.
Mercan Sultanisi’ni bitirdi. Ferah Tiyatrosu’ndaki orkestraya katıldı. Askerliğinde tüm bando çalgılarını öğrendi. Fehmi Ege’nin ilk beste çalışmaları alaturkadır.
Fehmi Ege ilk tangosunu 1925 yılında ‘Meşhul’ adlı operet için besteler. Bu operette başrolü oynayan Cemal Sahir, Beyoğlu’nda Tarlabaşı’nda, bir bekâr odasında, son günlerde ziyaretine giden Fehmi Ege’ye ‘Meçhul operetinde en güzel okuduğum şey tango…’ diyecek ve Ege’nin bestelediği ilk tangosunu yaşlı hali ile yarım yamalak söyleyecek ve bir bant kaydında arşive alacaktı. Döneminde çok ünlü bir operet sanatçısı olan Cemal Sahir, Tarlabaşı’ndaki yalnız odasında bir gün bir köşeye kıvrılıp kalacaktı. Fehmi Ege bu operetten sonra daha sonra Benliyan Efendinin operet topluluğunda keman çalmış ve aynı grubun şefliğini de yapmıştır.
Ege, birçok tango, 21 operet, valsler ve fanteziler besteledi. İstanbul’a döndü (1948). Şehir Tiyatrosu’na girdi. 1967’de emekli oldu.
İlk Türkçe tango olan Necip Celal’in “Mazi”si 1932 yılında plağa kayıt edilmişti. Fehmi Ege ise hayatını kazanmak için çalışmaktan o sıralarda beste ve plak kaydı ile uğraşamaz.
1932-33 yılları arasında İzmir’de alım satım işleriyle uğraşıp ve İzmir’in dar sokaklarında bisiklet üzerinde, kantar ve balye başlarında hayatını kazanmaya çalışmaktadır.
Bu tarihten sonra şans ona güler ve İstanbul Radyosu’nda çıkmaya başlar. Ayrıca 1935-36 yıllarında “Mehtaplı Bir Gecede” isimli tangosu plağa kayıt edilen ilk tangosu olur. Tabii Seyyan Hanım’ın sesinden… Plak çok sükse yapar ve bu tango ve ardından başka plak kayıtları gelir. Artık Fehmi Ege ismi plaklarla yayılmaktadır.