في سنة 44هـ زود معاوية المسجد بمنبر عندما جاء للحج ثم استبدل بمنبر آخر في عهد هارون الرشيد وفي سنة 56هـ تمت عمارة المسجد عمارة شاملة على يد عبد الله بن الزبير وذلك في عهد عبد الملك بن مروان وقد أجري بالمسجد عمارة كبرى في عهد الوليد بن عبد الملك سنة 91هـ حيث أن عهد الوليد من أزهى عصور الخلافة الأموية من حيث التحضر والعمارة.