بعدَ فَتْحِ تُونُس اقْتَضَتْ الحاجَةُ لِبِناءِ مَسجِد للصَّلاة ونَشْر الدِّين الإسلاميِّ بين أهالي تُونُس، بَنَي أوَّلَ مَسجِد فيها الشَّيْخُ الأمينُ حَسَّان بن النُّعْمان الغَسَّانيُّ فاتِحُ تُونُس وقَرْطاجَنَّة، وسُمِّيَ بـ (جامِع الزَّيْتونَة) لأنَّ مَوْقِعَه كانت به شَجَرَة زَيْتون عندَ صَوْمَعَة كان يَتَعَبَّد فيها راهِبٌ نَصْرانيٌّ، وقِيلَ: إنَّ السَّبَب في تَسْمِيَتِه بهذا الاسم هو لِكَثْرَةِ شَجَر الزَّيْتون بالقُرْبِ مِن مَكان الجامِع عندَ بِنائِه، ثمَّ في سنة 116هـ قام والي أفريقيا الأميرُ عُبيدُ اللّه بن الحَبْحاب بِتَوْسِعَة وإِعْمار الجامِع، وأَحْكَم وَضْعَه على أساسٍ فَخْمٍ، وزاد في ضَخامَتِه. وفي سنة 250هـ بَنَى أبو إبراهيم أحمدُ الأَغْلَبِيُّ في عَهْدِ الخَليفَة المُسْتَعين باللّه قُبَّةَ الجامِع. وفي سنة 381هـ قام أبو الفَتْح المَنْصور بن أبي الفُتُوح يُوسُف بن زِيرِي ثاني مُلوك الصَّنْهاجِيِّين بِتَرْمِيم قُبَّةِ بَهْوِ الجامِع. وفي سنة 747هـ في أيَّام محمَّد المُسْتَنْصِر بن أبي زكريَّا زُوِّدَ الجامِع بالماءِ عن طَريقِ بِناء قَناطِر، وقام أُمَراءُ الشِّيعَة المَهْدِيَّة وبَنُو حَفْص سَلاطين تُونُس بالاهْتِمام بهذا الجامِع، وكان الانْتِهاء من العَمَل به في عَهْد الحاكِم الأغلبيِّ زِيادَة اللّه الثَّاني. وفي سنة 1312هـ /1894م بُنِيَت مِئْذَنَة الجامِع مَكانَ المِئْذَنَة القَديمَة مِن قِبَلِ المُهَنْدِس سُليمان النيقرو. وفي سنة 1357هـ /1939م حَصَل آخِرُ تَرْمِيم للجامِع.