Masjid ini mula-mula dikenal dengan Masjid Bani Salamah, karena Masjid ini dibangun diatas tanah bekas rumah Bani Salamah. Pada permulaan Islam orang shalat menghadap ke Baitul Maqdis Yerussalem Palestina.

Pada Tahun 2 Hijriyah tepatnya hari senin bulan Rajab waktu Ashar, pendapat lain mengatakan waktu Dhuhur di Masjid Bani Salamah turun wahyu ( Al-Baqarah 144 ) untuk pindah kiblat. Saat itu Rasulullah SAW sedag melaksanakan shalat dan menghadap Aqsha, setelah turun ayat tersebut maka Rasulullah SAW menghentikan shalatnya sejenak dan kemudian meneruskan shalatnya dengan menghadap ke Masjidilharam Makkah.