Rahmi Pehlivanlı, 1926 yılında günümüzde Kırıkkale sınırlarına eklenen Keskin’de Gülşen Hanım ve Hacı Ömer Efendi’nin çocukları olarak dünyaya gelmiştir. İlkokulu Keskin’de, ortaokulu Kırıkkale Askeri Ortaokulu’nda 1932 yılında bitirmiştir. 1941-1944 yılları arasında Ankara Süvari Alayı’nda yaptığı askerliğinin ardından Ankara’ya yerleşmiştir. 1940-1950 yılları arasında hem Ankara hem de Kırıkkale’de ticaret yaparak geçimini sağlamıştır. Ankara’da Bahçelievler Ortaokulu’nda öğretmenlik yaparken bir yandan da dönemin ünlü yöneticilerinin portlerini yapmıştır. Yine bu dönemde yaptığı Aziziye kahramanı Nene Hatun portresi 1952’de Milli Savunma Bakanlığı’nın davetiyle Harbiye Askeri Müzesi’ne alınmıştır.
Yurtdışına ilk kez Selanik gezisinde çıkan ressamın yurt dışına ikinci çıkışı ise elindeki rahatsızlığı tedavi ettirmek ve resim hayatını profesyonelce sürdürmek amacıyla İngiltere’ye olmuştur. Buraya kısa zamanda uyum sağlayıp birçok Avrupa ülkesinde, müze ve stüdyolarda resim etütleri yapmıştır. 1953-1990 yılları arasında yirmi beşten fazla kral, kraliçe ve devlet adamı portrelerini çizmesi için Pehlivanı ülkelerine davet etmişlerdir. Zaman zaman Kıbrıs, Lübnan, Irak, ve Libya gibi Ortadoğu ülkelerine de giderek sergiler açmış ve portreler yapmıştır. En ünlü tablolarından biri olan Zina, 1967 yılında Vatikan tarafından çok beğenilmiş ve dönemin Papası IV. Paul tarafından madalya ile ödüllendirilmiştir. Bu tablo Vatikan tarafından Roma’daki Dal Vaticano Floransa Müzesi’ne alınmıştır. Bu dönemde İtalya’da yakaladığı şöhreti değerlendirmiş ve Castel Franco’da bir stüdyo kurarak çalışmalarına devam etmiştir. Cote D’Azure’da düzenlenen uluslararası sanat sergisinde bir diğer ünlü tablosu Kel Mıstık ile portre dalında birincilik ödülünü kazanmıştır.
1984 yılında Nurhan isimli bir hanımla evlendi. 1988’de SSCB Kültür Bakanlığı Güzel Sanatlar Akademisi Başkanlığı tarafından üniversitelerde konferanslar vermek ve araştırmalar yapmak üzere davet edilmiştir. Aynı yıl Ephesus tablosu ile Papa II. Jean Paul tarafından gümüş madalya ile ödüllendirilmiştir. 1989 yılında başladığı Gazi Üniversitesi Resim Bölümü öğretim üyeliğine 24 Ağustos 1992’de vefat edene kadar devam etmiştir. Kırıkkale’de ünlü ressamı anmak için her yıl Keskin İlçesi’nde anma etkinlikleri yapılmaktadır. Öldüğünde “Renk Renk Türkiyem” koleksiyonunu ancak tamamlayabilmiştir. Altmışbeş yıllık hayatında beşi Türkiye’de olmak üzere altmıştan fazla kişisel sergi açmıştır. Bu sergilerin büyük bölümünün açılışı devlet başkanları ve ileri gelen devlet adamları tarafından yapılmıştır.
