كان اهتمام المسلمين بالشام منذ عهد النبي محمد، فقد كتب إلى هرقل عظيم الروم وغيره من أمراء الشام كتباً يدعوهم فيها إلى الإسلام، كما أرسل جيشاً إلى مؤتة في الشام فكانت معركة مؤتة، ثم قاد غزوة تبوك بنفسه. ولما تولى أبو بكر الخلافة، استمر على المنهج الذي وضعه النبي محمد، فأصر بعد وفاة النبي على إنفاذ جيش أسامة بن زيد، ثم أرسل خالد بن سعيد بن العاص بجيش لفتح الشام.
بعث أبو بكر خالد بن سعيد بن العاص إلى مشارف الشام، وأمره أن يكون ردءاً للمسلمين بتيماء، وهي بلدة في أطراف الشام بين الشام ووادي القرى، وأمره ألا يفارقها إلا بأمره، ولا يقاتل إلا من قاتله، فبلغ خبرَه هرقل ملكُ الروم، فجهز جيشاً من العرب التابعين للروم من قبائل بهراء وسليح وكلب ولخم وجذام وغسان، فسار إليهم خالد بن سعيد فلقيهم على منازلهم فافترقوا، فأمره أبو بكر بالإقدام والزحف على الروم قبل تنظيم صفوفهم، ونصحه أن يحافظ على خط رجعته وألا يتوغل كثيراً في بلاد العدو، فتقدم خالد حتى بلغ القسطل في طريق البحر الميت، فهزم جيشاً من الروم على الشاطئ الشرقي للبحر، ثم تابع مسيرته، فجمع الروم قوات تزيد على ما جمعوا في تيماء، فكتب خالد إلى الخليفة يستمده ليتابع تقدمه، فبعث إليه عكرمة بن أبي جهل بجيش البدال والوليد بن عقبة بجموع أخرى، فلما وصلت هذه القوات إلى خالد بن سعيد أمر بالهجوم على الروم، وأخذ طريقه إلى مرج الصفر (شرقي بحيرة طبرية)، وانحدر القائد الرومي ماهان بجيشه يستدرج جيوش المسلمين التي وصلت إلى مرج الصفر، فأوقعوا بالمسلمين الهزيمة، وصادف ماهان سعيد بن خالد بن سعيد في كتيبة من العسكر فقتلهم وقتل سعيداً في مقدمتهم، وبلغ خالد مقتل ابنه ورأى نفسه قد أحيط بالروم، فخرج هارباً في كتيبة من أصحابه على ظهور الخيل، ونجح عكرمة في سحب بقية الجيش إلى حدود الشام.
عند ذلك، أمر أبو بكر المسلمين بالنفير إلى الجهاد، وأمر بلالاً بن رباح فنادى في الناس: «أن انفروا إلى جهاد عدوكم الروم بالشام»، وكتب إلى أهل اليمن يدعوهم إلى الجهاد، فانساح أهل اليمن من جميع أرجائها بأعداد هائلة، كلهم خرجوا طواعية غير مكرهين.
بعد أن دعا أبو بكر الناس إلى الجهاد، عقد الألوية لأربعة جيوش أرسلها لفتح الشام، وأمر كل أمير أن يسلك طريقاً غير طريق الآخر، وهذه الجيوش هي:
جيش يزيد بن أبي سفيان: وهو أول الجيوش التي تقدمت إلى بلاد الشام، وكانت مهمته الوصول إلى دمشق وفتحها ومساعدة الجيوش الأربعة عند الضرورة، وكان جيش يزيد أول الأمر ثلاثة آلاف، ثم عززه الخليفة بالإمدادات حتى صار معه بحدود سبعة آلاف رجل.
جيش شرحبيل بن حسنة: حدد أبو بكر لمسير شرحبيل بن حسنة ثلاثة أيام بعد مسير يزيد بن أبي سفيان، وكان جيش شرحبيل ما بين ثلاثة آلاف إلى أربعة آلاف، وأمره أن يسير إلى تبوك والبلقاء ثم بصرى، وهي آخر مرحلة، فتقدم شرحبيل نحو البلقاء حيث لم يلق مقاومة تُذكر، وكان يسير على الجناح الأيسر لجيش أبي عبيدة بن الجراح، والجناح الأيمن لجيش عمرو بن العاص في فلسطين، فأوغل في البلقاء حتى بلغ بصرى، فأخذ يحاصرها، فلم يوفق في فتحها لأنها كانت من المراكز الحصينة.
جيش أبي عبيدة بن الجراح: وكان يتراوح ما بين ثلاثة آلاف إلى أربعة آلاف مجاهد، وهدف ذلك الجيش حمص. سار أبو عبيدة من المدينة ماراً بوادي القرى إلى الجابية، وكان هذا الجيش الجناح الأيسر لجيش يزيد، والجناح الأيمن لجيش شرحبيل، وكان في صحبة أبي عبيدة فارس من فرسان العرب المشهورين هو قيس بن هبيرة بن مسعود المرادي، فأوصى به أبو بكر أبا عبيدة قبل سفره.
جيش عمرو بن العاص: وجهه أبو بكر إلى فلسطين، وكان تعداده يتراوح من ستة آلاف إلى سبعة آلاف مجاهد، فسلكت طريقاً لساحل البحر الأحمر حتى وادي عربة في البحر الميت، ونظم عمرو بن العاص قوة استطلاع مؤلفةً من ألف مجاهد يقودها عبد الله بن عمر بن الخطاب، ودفعها باتجاه محور تقدم الروم، فاصطدمت هذه القوة بقوة للروم، ولكنها انتصرت عليهم، وعادت ببعض الأسرى فاستنطقهم عمرو بن العاص، وعلم منهم أن جيش العدو بقيادة “رويس” يحاول مباغتة المسلمين بالقيام بالهجوم، فنظم عمرو قواته، وشن الروم هجومهم، واستطاع المسلمون صده ونجحوا في رد قوات الروم، وبعد ذلك شنوا هجومهم المضادَّ ودمروا قوة العدو وأرغموهم على الفرار وترك ميدان المعركة، وتابع الفرسان المطاردة، وانتهت بسقوط ألوف القتلى من الروم.
لاقت الجيوش الإسلامية صعوبة في مواجهة جيوش الإمبراطورية الرومانية لقوتها وكثرة عددها، وقد كان للروم في الشام جيشان كبيران: أحدهما في فلسطين والآخر في أنطاكية، وعندما شهد قائد الروم هرقل توغل الجيوش الإسلامية، أصدر أوامره لقواته بالتوجه لتدمير الجيوش الإسلامية الأربعة كل على حدة. فراسل قادةُ المسلمين أبا بكر يخبرونه بأمر الروم، فشرع بإمدادهم بالرجال والسلاح والخيول وما يحتاجونه، فأرسل هاشم بن عتبة بن أبي وقاص ومعه ألف مقاتل إلى أبي عبيدة، وأرسل سعيد بن عامر بن حذيم ومعه سبعمائة رجل إلى يزيد بن أبي سفيان.
وقرر قادة المسلمين الانسحاب من جميع الأراضي التي فتحوها والتجمع في مكان واحد ليتمكنوا من إحباط خطة الروم وإجبارهم على خوض معركة فاصلة تخوضها كل الجيوش الإسلامية، فاتفقوا أن يكون التجمع باليرموك، وأن يتم الانسحاب مع تجنب الاشتباك مع العدو، فانسحب أبو عبيدة من حمص، وانسحب شرحبيل بن حسنة من الأردن، وانسحب يزيد بن أبي سفيان من دمشق، وأخذ عمرو بن العاص في الانسحاب تدريجياً من فلسطين.
وقرر أبو بكر أن ينقل خالد بن الوليد بجيشه إلى الشام وأن يتولى قيادة الجيوش بها، لأن الأمر بالشام يحتاج إلى قائد صاحب قدرة عسكرية فائقة، وصاحب تجربة طويلة في المعارك، فحشد خالد جنوده وانطلق ليعبر إلى الشام عبر صحاري رهيبة، وبعد خمسة أيام من الترحال وصل جيش خالد إلى الشام، ففتح منطقة “أدك” صلحاً، ثم نزل “تدمر” فصالح أهلها، ثم أتى “القريتين” فقاتله أهلها فظفر بهم، ثم قصد “حوارين” وصار إلى موضع يعرف بالثنية، فنشر رايته وهي راية العقاب، فسمي ذلك الموضع بثنية العقاب، ثم سار حتى وصل إلى قناة بصرى، فوجد الصحابة تحاربها فصالحه صاحبها وسلمها إليه، ثم سار خالد وأبو عبيدة ومرثد وشرحبيل إلى عمرو بن العاص وقد قصده الروم، فكانت معركة أجنادين.