Abdurrahman Shihab lahir di Sidenreng Rappang, Celebes, Hindia Belanda[2] sebagai anak tunggal dari Habib Ali bin Abdurrahman Shihab, seorang ulama juru dakwah dan pendidikan asal Hadramaut, Yaman.[3] Abdurrahman berasal dari keluarga ArabHadhrami golongan Alawiyyin bermarga Aal Shihāb-Uddīn.[4] Ayahnya telah berimigrasi dari Hadramaut ke Sulawesi Selatan sejak muda untuk berdakwah, ia wafat di Makassar pada tahun 1333 Hijriyah (sekitar tahun 1915 Masehi) dalam usia 52 tahun ketika Abdurrahman masih bayi.[3]
Setelah tinggal selama 10 tahun di Sidenreng Rappang, Abdurrahman menikah dengan seorang gadis Bugis putri bangsawan setempat bernama Asma Aburisy.[3] Dari pernikahannya dengan Asma, Abdurrahman dikaruniai 13 anak, di antaranya adalah Nur Shihab, Ali Shihab, Umar Shihab, Muhammad Quraish Shihab, Wardah Shihab, dan Alwi Shihab, enam anak pertamanya tersebut lahir di Rappang, Kabupaten Sidenreng Rappang.[6] Sedangkan tujuh anak lainnya lahir di Kampung Buton, Makassar, karena setelah kelahiran Alwi, Abdurrahman membawa serta keluarganya ke Jalan Sulawesi Lorong 194/7 Kota Makassar.[7] Ketujuh anaknya yang lahir di Kampung Buton di antaranya adalah Nina Shihab, Sida Shihab, Ahmad Nizar Shihab, Abdul Mutalib Shihab, Salwa Shihab, Ulfa Shihab, dan Latifah Shihab.[6]
Abdurrahman mulai aktif berkarier di dunia politik sejak tahun 1950-an. Sepanjang tahun 1950–1951, ia aktif sebagai anggota dan pengurus Masyumi cabang Makassar, baru pada tahun 1951–1952 ia diangkat menjadi anggota Majelis Syuro Masyumi wilajah Sulawesi, dan pada tahun 1952–1956 menjadi anggota pimpinan Masyumi untuk wilajah Sulawesi.[2]
Hidayat, Syahrul; Fogg, Kevin W. (1 Januari 2018). "Profil Anggota: Abdurrahman Sjihab". Konstituante.Net. Diarsipkan dari versi asli tanggal 2018-09-06. Diakses tanggal 6 September 2018.
Muhammad, Firdaus (11 November 2015). Aldy, ed. "50 Tahun UIN Memanggungkan Peradaban". Tribun Timur. Jakarta: TRIBUNnews.com Network. Diarsipkan dari versi asli tanggal 2018-09-06. Diakses tanggal 6 September 2018.