ويقع باب الرحمة فى السور الشرقي للمسجد الأقصى المبارك، الذى يشكل جزءا من سور بيت المقدس أيضا، وهو أقدم أبواب المدينة القائمة حاليا، فثمة آثار تدل على باب سبق تشييده فى الموقع فى القرن الأول قبل الميلاد، أما أبواب المدينة السبعة الأخرى، فقد شيد العثمانيون ستة منها أواسط القرن العاشر الهجرى، وهى باب العامود وباب الساهرة، باب الأسباط، باب المغاربة، باب النبى داوود، وباب الخليل، وذلك بحسب دراسة بعنوان "باب الرحمة فى بيت المقدس" للباحث بشير بركات، نشرت بمجلة الفيصل: العددان 459-460.

ومما يؤكد أن باب الرحمة هو أقدم أبواب المدينة ظهوره فى خريطة مادبا، وهى أقدم خريطة للقدس، إذ اكتشفت خلال حفريات أجريت سنة 1315هـ 1897 م، فى أرضية كنيسة بنيت فى القرن السادس الميلادى، فى مدينة مادبا شرق الأردن.

وأطلق عليه اليهود اسمين: باب الشيخينة، أى التجلى الربانى، وباب الرحمة، بينما يطلق عليه النصارى: الباب الذهبى، وهم يعتقدون أن والدى السيدة العذراء مريم كانا يلتقيان هناك، وأن يسوع المسيح دخل منه يوم أحد الشعانين "الزعف"، بينما المسلمون أطلقوا عليه الرحمة، كما أنشأوا مقبرة ظاهرة، وأطلقوا عليها مقبرة باب الرحمة.