في العصر الفاطمي قام الخليفة الظاهر سنة 426هـ/1033م بعمارة المسجد بعد زلزال حدث 425هـ وعلى نفس التخطيط القديم ولا زالت بالمسجد بعض الزخارف والكتابات بالخط الكوفي ورقبة القبة وعقودها ترجع إلى عمارة الظاهر الفاطمي ويشبه المسجد الأقصى في أروقته المسجد الجامع في قرطبة فيما عدا البائكات المستعرضة , والمسجد على شكل مستطيل ويخلوا من صحن أو مئذنة فقد استعاض مهندسه بصحن الحرم القدسي الذي يفتح عليه المسجد من الجهة الشمالية كما استعاض بالمآذن الأربعة التي تتقدم ساحة الحرم الشريف.