سمي بهذا الاسم لأن العسس يجتمعون عنده ليلاً، ويقال الموضع الذي خطه الرسول صلى الله عليه وسلم لابن مسعود ليلة استمع إليه الجن، وأن الجن بايعوا الرسول صلى الله عليه وسلم. يرجع تاريخ إنشاء المسجد إلى أوائل القرن الثالث الهجري وكان يطلق عليه (مسجد الحرس) وقد سمي بالحرس لأن صاحب الحرس كان يطوف مكة، حتى إذا انتهى إليه وقف عنده لم يجزه حتى يتوافد عند عرفاؤه وحراسة، يأتون إليه من شعب بني عامر وثنية الحجون، فإذا توافدوا عنده رجع منحدراً إلى مكة المكرمة، وقد عرف المسجد أيضا بمسجد البيعة لما يروى أن الجن بايعوا رسول الله صلى الله عليه وسلم في ذلك الموضع. في سنة 1112 هـ عمر إبراهيم بك مسجد الجن بالمعلاة ودفن تحت الأرض مع كثرة السيول، ومع الزمن غرسوا في ذلك المكان بعض الأشجار والبساتين وبعض الريحان، حتى أنه قام المهندسون والعلماء وحفروا الموقع وظهر محراب المسجد الذي أسلم الجن فيه تحت الأرض، وبادروا بقطع الأشجار وتنظيف البقعة تماماً، ثم بني فيه مسجد صغير على حدة ووضعوا المحراب على ما كان عليه، وجعلوا اعلى المسجد قبة، ثم بنوا مسجداً آخراً على سطح المسجد بقبة كبيرة وجعلوا بجانبه حنفية وعمروه بأحسن البناء.