لمَّا فتَح أبو عُبيدةَ الجابِيَةَ مِن أعمالِ دِمشقَ وقِنَّسرينَ وحاصَر أهلَ مَسجدِ إيليا -أي بيت المَقدِس- فأَبَوْا أن يَفتَحوا له، وسَألوه أن يُرْسِلَ إلى صاحِبِه عُمَرَ لِيَقْدُمَ فيكون هو الذي يَتوَلَّى مُصالحَتَهُم، فكتَب بذلك إلى عُمَرَ فاسْتخلفَ علِيَّ بن أبي طالبٍ على المدينةِ, ثمَّ قَدِمَ للشَّامِ, وكتَب إلى أُمراءِ الأجنادِ أن يُوافُوه بالجابِيَةِ ليومٍ سَمَّاهُ لهم في المُجَرَّدَةِ، ويَستخلِفوا على أعمالِهم، وكان أوَّلَ مَن لَقِيَهُ فيها أبو عُبيدةَ, فلمَّا دخَل الجابِيَةَ قال له رجلٌ مِن اليَهودِ: يا أميرَ المؤمنين، إنَّك لا تَرجِع إلى بِلادِك حتَّى يفتحَ الله عليك إيلياء. فبينما عُمَر مُعسكرٌ بالجابِيَةِ فزَع النَّاسُ إلى السِّلاحِ، فقال: ما شَأنُكم؟ فقالوا: ألا ترى إلى الخيلِ والسُّيوفِ؟ فنظَر فإذا جَمْعٌ يلمعون بالسُّيوفِ. فقال عُمَرُ: مُسْتَأْمِنَةً فلا تُراعُوا، فأَمِّنُوهُم. وإذا أهلُ إيلياء، فصالَحهُم على الجِزيةِ, وعلى أن لا يَهْدِمَ كَنائِسَها، ولا يُجْلِيَ رُهْبانَها، ففَتَحوها له، وبَنَى بها مَسجِدًا، وأقام أيَّامًا ثمَّ رجَع إلى المدينةِ.