桂永清回國後，又得到了蔣介石的重用。1932年3月，蔣介石在南京“勵志社”召開“復興社”成立大會，桂永清當選為中央幹事，成為十三太保之一。蔣特定他為訓練處處長，讓他把留德所學用於培養訓練各種效忠於蔣介石的幹部和學員。1933年，桂永清被蔣任命為中央軍校教導總隊隊長。
1937年7月7日，抗戰爆發，當時正在英國參加英王加冕的桂永清聞訊後急忙回國，率領他的教導總隊投入到淞滬會戰。此時，教導總隊已擁有步兵16個團，騎、炮、工兵、通訊、汽車各一個團，另有四個獨立營，一個獨立連，官兵總數超過一個正規軍的編制。本來何應欽上將決定調教導團入川擴編成為30個團，作為第二期作戰主力，但桂永清卻要求立即參戰，在桂信誓旦旦的戰鬥總動員下，全體官兵也一直要求開赴戰場，蔣介石於是將總隊3個團調到湖南擴建，總隊主力調入淞滬戰場。
1938年夏，蔣介石突然召見桂永清，要他組建第28軍，駐防鄭州。桂永清擔任第28軍軍長，轄第36、第46、第106和炮兵共4個師，歸第一戰區司令長官程潛節制。不久，桂永清奉命在河南蘭封、考城之間駐防，以阻日軍西進。
當第28軍軍部抵達羅王殿時，接到程潛來電：“日軍有一加強旅團之敵，現已竄入蘭封城，你部現改為攻擊蘭封，將該敵殲滅。”桂永清立即命令第36師攻擊蘭封城東、北兩門，第46師攻擊蘭封城西、南兩門，第106師為預備隊，炮師掩護步兵攻城。此時，蔣介石來電，限定該軍在兩天之內攻克蘭封，否則軍法從事。次日上午，桂永清指揮全軍發動攻擊，遭到敵軍的頑強阻擊。下午5時，程潛來急電：“委員長親臨鄭州指揮。”7時，接到蔣介石打來的電話，命令第28軍日內攻克蘭封，逾時不克，唯軍長是問。桂永清當即召開師以上軍官緊急會議研究作戰方案，並限當晚攻克蘭封。第3天，蔣介石一連數次打電話詢問戰況。桂永清不敢待在軍部，親自到第一線督戰。這時，第46師第1旅旅長李昌會負傷，第3旅旅長馬威龍陣亡，第2旅旅長李藹堂下落不明，桂永清趕到第46師，與師長李良榮共同督戰。在戰鬥中敵軍從南門突圍，向考城逃竄。當蔣介石責問時，桂永清説：“此次攻戰，旅長一死二傷，團長傷亡各二名.營長陣亡九名，連以下官兵傷亡五千餘人，已竭盡全力，我在第一線督戰，仍未能完成殲敵之任務，有負校長的使命，請予處分。”這時，蔣介石命令他迅速撤退到鄭州以西待命。第28軍開到開封時，守軍商震部已經撤走。他們撤到中牟時，國民黨空軍正在轟炸花園口的黃河大堤。桂永清到達洛陽白馬寺時，接到蔣介石的電令：“28軍攻擊蘭封不力，軍長桂永清撤職。36師師長龍慕寒玩忽職守，攻城不力，而且放走敵人，着即送武漢處決(抗戰期間遭到處決的第一位蔣介石嫡系將領)。46師師長李良榮革職留任，戴罪立功。106師師長沈克追擊不力，改任副軍長。”第二天，蔣介石又來電：“桂永清仍回戰幹團任教育長。
桂永清到武漢去見蔣介石，並未受苛責，但他為龍慕寒求情也未獲允，蔣只説將第28軍交給胡宗南指揮，仍派桂永清任戰幹團教育長。蔣介石這一次是真失望了，蘭封會戰中，蔣介石部署十倍於日軍的兵力圍殲土肥原部隊，本想取得一個抗戰以來的大勝利，以鼓舞士氣，但他沒想到中國十幾個師都沒能吃掉土肥原一個師團，蔣介石稱為“千古笑柄”。自此以後，直到抗戰結束，桂永清再沒有真正地掌握過軍權
