Beliau berasal dari keturunan ulama, ayahnya Haji Syihabuddin adalah salah seorang ulama dan qadhi di wilayah Deli Serdang Medan. Semenjak kecil Haji Abdurrahman Syihab telah dididik dalam dua iklim keilmuan. Beliau belajar di sekolah umum, namun pada waktu yang sama juga memperdalam ilmu agamanya di Maktab Sairussulaiman Simpangtiga Perbaungan. Dalam usia delapan tahun beliau telah mulai mengaji berbagai macam ilmu keislaman. Setelah mantap dasar-dasar ilmu agamanya, selain belajar kepada orangtuanya, beliau juga menjadi murid di MIT Madrasah Islamiyah Tapanuli pada tahun 1922.
Madrasah ini dibangun oleh seorang ulama lulusan Mekkah Syekh Muhammad Yunus yang merupakan murid dari Syekh Ahmad Khatib Minangkabau dan Pernah berguru kepada Syekh Hasan Maksum Mufti Kerajaan Deli yang bergelar Tuan Imam Paduka. Di MIT Syekh Muhammad Yunus, Haji Abdurrahman Syihab mulai menghafal dan mendalami Kitab-kitab seperti; Alfiyah, Matan Zubad, Matan Jauharah dan Jauhar Maknun. Karena cerdas dan terang hatinya, lima tahun berikutnya beliau telah menjadi asisten Syekh di Madrasah tersebut.
Haji Abdurrahman Syihab adalah ulama muda yang sangat aktif dalam berbagai even keagamaan di Medan. Beliau membangun Madrasah, menginisiasi kelompok-kelompok diskusi keagamaan, bahkan beliau salah satu pendiri Al Washliyah Medan. Sebuah organisasi Ahlussunnah Waljama’ah yang mengutamakan Mazhab Syafi’i. Semenjak berdirinya organisasi Al Washliyah tahun 1930, beliau di tahun 1931 sampai 1955 dipercaya sebagai Pimpinan Al Washliyah bersama sahabat-sahabatnya Haji Ismail Banda, al Ustadz Muhammad Arsyad Thalib Lubis, Al Ustadz Adnan Lubis dan para ulama lainnya.
Adapun Syekh Hasan Maksum dan Syekh Muhammad Yunus berada pada jajaran penasehat Al Washliyah. Selain belajar dari Syekh Muhammad Yunus, dalam rentang waktu 1931-1936 Ulama besar Medan Syekh Hasan Maksum membuka pengajian dengan Kitab-kitab besar dalam Mazhab Syafi’i. Maka Kiyai Abdurrahman Syihab juga belajar secara tekun kepada Syekh Hasan Maksum sehingga mengantarkan Kiyai Abdurrahman Syihab menjadi ulama yang mendalam ilmunya di Sumatera Utara, bahkan beliau termasuk dalam jajaran ulama terkemuka Sumatera Utara.
Setelah menjadi alim, Kiyai Abdurrahman Syihab terlibat aktif dalam berbagai pergerakan keagamaan dan kemasyarakatan. Beliau juga salah seorang ulama yang membentengi ummat dari berbagai paham yang keliru dan sesat. Beliau dan Kiyai Muhammad Arsyad Thalib Lubis yang berdiri di garda terdepan menolak pemahaman Ahmadiyah dan menfatwakan bahwa aliran tersebut sesat dan menyesatkan. Kiyai Abdurrahman Syihab melalui Organisasi Al Washliyahnya juga menggagas berbagai terobosan pendidikan seperti mendirikan berbagai lembaga pendidikan yang berafiliasi di bawah komando Al Washliyah. Sehingga hampir semua ulama Medan hari ini umumnya berorganisasi Washliyah atau simpatisan darinya.
Alwashliyah mirip dengan PERTI di Padang berhaluan sama. Sehingga Kiyai Besar PERTI Haji Siradjuddin Abbas merupakan sahabat dekat Haji Abdurrahman Syihab baik dari sisi konsep keislaman maupun sudut pandang dalam berpolitik karena kedua-duanya adalah termasuk tokoh nasional yang diperhitungkan kiprahnya dan pernah menjadi anggota parlemen. Dalam tahun 1954 pada puncak kariernya, Kiyai Abdurrahman Syihab mulai digerogoti oleh berbagai penyakit, karena kurang istirahat dan bekerja tanpa henti pada tahun 1955 wafatlah ulama besar tersebut di Medan. Rahimahullah Rahmatan Wasi’atan.
No responses yet