Penduduk yang menemukan langgar pertama kali itu berkeyakinan yang membangun adalah Raden Rahmat makanya dinamakan Langgar Tiban Rahmat. Akhirnya perkembangan dakwah dengan datangnya berbagai manusia serta pertumbuhan penduduk yang membutuhkan tempat luas. Sampai pada masa datangnya orde baru, dibangunlah Masjid Rahmat dengan cara swadaya.
“Masyarakat sekitar Kampung Kembang Kuning awalnya membangun Masjid Rahmat sesuai kemampuan. Membangun seadanya, yang penting bisa menampung masyarakat yang tiap tahun bertambah banyak,” tuturnya.
Menginjak tahun 1965 ada pertemuan yang digelar di IAIN (UINSA sekarang) dengan mendatangkan Menteri Agama Prof KH Saifuddin Zuhri, serta tokoh-tokoh Kampung Kembang Kuning, khususnya Masjid Rahmat. Mereka lalu menyampaikan kepada bapak menteri bahwasanya di Kembang Kuning ada sebuah tanah bekas langgar Sunan Ampel.
Masyarakat akan membangun sebuah masjid yang di dalamnya ada bekas langgar tiban yang diyakini dibangun oleh Sunan Ampel dan mertuanya (Mbah Karimah Wiroseroyo). Tidak membutuhkan waktu yang lama, menteri agama pun langsung menyetujui pembangunan Masjid Rahmat itu.
