وفي أثناء قيادة خالد -رضي الله عنه- معركة اليرموك التي هزمت فيها الامبراطورية الرومانية توفي أبوبكر الصديق -رضي الله عنه- ، وتولى الخلافة بعده عمر -رضي الله عنه- ، وقد ولى عمر قيادة جيش اليرموك لأبي عبيدة بن الجراح أمين هذه الأمة وعزل خالد
وصل الخطاب الى أبىعبيدة فأخفاه حتى انتهت المعركة ، ثم أخبر خالدا بالأمر ، فسأله خالد : يرحمك الله أباعبيدة ، ما منعك أن تخبرني حين جاءك الكتاب ؟
فأجاب أبوعبيدة : اني كرهت أن أكسر عليك حربك ، وما سلطان الدنيا نريد ، ولا للدنيا نعمل ، كلنا في الله أخوة وأصبح أبوعبيدة أمير الأمراء بالشام0
