این مسجد بیش از یک هزار سال پیش به فرمان حضرت بقیه الله ارواحنا فداه، در بیدارى و نه در خواب تأسیس شد، شیخ عفیف صالح حسن بن مثله جمکرانی می گوید: «شب سه شنبه، هفدهم ماه مبارک رمضان 373 هجری در سراى خود خفته بودم که جماعتى به درِ سراى من آمدند. نصفى از شب گذشته بود. مرا بیدار کردند و گفتند: برخیز و امر امام محمد مهدى صاحب الزمان را اجابت کن که تو را می خواند.

من برخاستم و آماده شدم، چون به در سراى رسیدم جماعتى از بزرگان را دیدم. سلام کردم و جواب دادند و خوش آمد گفتند و مرا به آن جایگاه که اکنون مسجد مقدس جمکران است آوردند.
چون نیک نگاه کردم، دیدم تختى نهاده و فرشى نیکو بر آن تخت گسترده و بالش هاى نیکو نهاده و جوانى سى ساله، بر روى تخت بر چهار بالش تکیه کرده و پیرمردى در مقابل او نشسته کتابى در دست گرفته بر آن جوان مى خواند.
بیش از شصت مرد که برخى جامه سفید و برخى جامه سبز بر تن داشتند، برگرد او روى زمین نماز مى خواندند.
آن پیرمرد که حضرت خضر (ع) بود مرا نشاند و حضرت امام (ع) مرا به اسم خواند و فرمود: «برو به حسن بن مسلم بگو: «تو چند سال است که این زمین را عمارت می کنى و ما خراب می کنیم. پنج سال زراعت کردى و امسال دیگر باره شروع کردی عمارت می کنی، رخصت نیست که تو دیگر در این زمین زراعت کنی باید هرچه از این زمین منفعت برده ای برگردانی تا در این موضع مسجد بنا کنند.

اینجا زمین شریفی است و حق تعالی این زمین را از زمین های دیگر برگزیده و شریف کرده، تو آن را گرفته به زمین خود ملحق کرده ای! خداوند، دو پسر جوان از تو گرفت و هنوز هم متنبّه نشده ای!؟ اگر از این کار بر حذر نشوی، نقمت خداوند از ناحیه ای که گمان نمی بری بر تو فرو  می ریزد، مردم را بگو تا به این موضع رغبت کنند و عزیز بدارند و چهار رکعت نماز در این جا بگذارند.»

معماری مسجد
به استناد اشاره قاضی احمد قمی و کتیبه مورخ 1167، مسجد پیش از دوران افشاریه ساخته شده اما از ویژگی های معماری عصر صفوی در مسجد جمکران اطلاعی در دست نیست.

بر اساس کتیبه مسجد، بنایی که میرزا علی اکبر جمکرانی آن را تعمیر کرد، شامل مسجدی ستون دار به ابعاد 5*17 متر با چهار فرش انداز، در جنوبِ صحنی به ابعاد  13*17 متر بوده که در دوران ناصری، حاج علیقلی جمکرانی یک جانب صحن آن را با مبلغ 300 تومان بنا کرد.

علی اصغر خان اتابک در اوایل حکومت مظفرالدین شاه مسجد و صحن را تعمیر کرد و حجره‌ها و ایوان هایی در اطراف صحن و دو آب انبار، یکی در صحن و دیگری در خارج از صحن بنا کرد.

در طی تعمیر مسجد در دوره قاجار، تزئیناتی به بنا افزوده شد که شامل ازاره کاشی‌کاری خشتی هفت رنگ به ارتفاع یک و نیم متر و تزئیناتی با نقوش اسلیمی با آب طلا و لاجورد در قسمت فوقانی و کتیبه‌ای از کاشی های خشتی به خط ثلث از سوره جمعه در بخش میانی شبستان مسجد بود.

محراب
این مسجد دارای چهار محراب پنج تَرْکی با پوشش مقرنس گچی و لچکی های کاشی کاری شده با کتیبه‌هایی به خط ثلث با عبارت «فَمَنْ صَلّیها فَکانَّما صَلّی فی البیتِ العتیق» بود.

در میان محراب مرکزی چاه کوچکی قرار داشت که دهانه آن با سنگ مرمر میان تهی پوشانده شده بود و برخی زائران برای تبرک از درون آن خاک می‌بردند. در سینه همین محراب قطعه سنگ دیگری از مرمر شفاف قرار داشت که در میان آن اثر یک قدم بزرگ، به نشان قدمگاه بودن مسجد، حجاری شده بود.

در سال 1350، با اقدام آیت اللّه فیض قمی چاه را پُر کردند و سنگ مزبور را کندند، زیرا به اعتقاد ایشان نشان بدعت بود.

محوطه ورودی مسجد مقام
در 1332 مسجد جمکران به اهتمام سید محمد آقازاده تعمیر و بعضی قسمت های آن تجدید بنا شد و تالاری در جنوب صحن، با شش ستون از تیرآهن، به طول 17 و عرض 4 متر، احداث شد که در واقع همان محوطه ورودی مسجد بود.

در بخش شرقی صحن نیز تالاری به عرض 4 و طول 13متر، با تزئیناتی از آجرهای تراش و کاشی های هفت رنگ احداث شد، در قسمت جنوب شرقی مسجد گلدسته آجری هشت ترکی به ارتفاع 17 متر قرار داشته که، به استناد کتیبه، در سال 1318 ساخته شده است.