في عهد عمر بن الخطاب (رضي الله عنه) أجريت عمارة بالمسجد (17هـ/637م) حيث لم يكن للمسجد جدران تفصله عن البيوت المجاورة في عهد كل من النبي (صلى الله عليه وسلم) وأبو بكر الصديق (رضي الله عنه) فزوده عمر بالجدران بعد إزالة بعض البيوت وجعل فيه الأبواب والقناديل للإضاءة.