發端於土地革命戰爭時期、蓬勃於抗日戰爭時期的游擊戰，給侵華日軍造成了相當的兵員損失，削弱了日軍“以戰養戰”搜刮淪陷區支撐前線的能力，據1938年8月至1940年5月在華北方面軍參謀部任職的加登幸太郎説：“現在回憶起來，我在任時，整個方面軍一天平均死傷50名。50名雖不多，但一年就有18000人離開戰列，是大消耗戰。”
相比游擊戰取得的輝煌成績，國民黨軍隊在全面抗戰爆發以來的幾年裏，由於戰略和戰術的雙雙失策，幾乎戰無不敗，損失慘重。不但丟掉了百萬平方公里以上的國土，還令數十萬國軍將士喋血沙場。為改變國民黨的慘敗格局，中共方面有意將游擊戰傳授給國民黨。1938年11月25日—28日，周恩來、葉劍英來到湖南衡山，出席蔣介石在這裏召開的軍事會議。會上，周、葉二人向蔣介石建議，國共合作開辦遊擊幹部培訓班，系統學習游擊戰術。
蔣介石同意了這個建議，他也認為：“二期抗戰，游擊戰重於正規戰。”他請中共方面派遣幹部到遊幹班教授游擊戰法。
軍事會議結束後，周、葉向中共中央做了彙報。毛澤東説：“去吧，講我們的一篇道理。”中共中央派葉劍英帶一批得力幹部前去衡山，參加南嶽遊幹班的創辦。
1939年1月，遊幹班成立後，國民政府軍事委員會正式任命湯恩伯為主任，葉劍英為副主任。不久，改由蔣介石兼任訓練班主任，白崇禧、陳誠兼副主任，湯恩伯任教育長，葉劍英任副教育長。周恩來被聘為訓練班的國際問題講師。1939年2月15日，訓練班舉行開學典禮。第一期學員共招收了1046人，編為8個大隊。學制定為3個月。訓練內容包括：軍事教育，以游擊戰的戰略、戰術及爆破技術為主;政治教育，以民眾運動及游擊戰政治工作為主。軍、政教育課程比例各隊有別，大致佔受訓時間的55%和45%。
“衡山蒼蒼入紫冥，下看南極老人星。回脆吹散五峯雪，往往飛花落洞庭。”這是唐代偉大詩人李白三上南嶽衡山時留下的詩句。訓練班本部設在衡山上的南嶽聖經學校。葉劍英和中共方面人員集體住在衡山山腳下一處名為“桔盈圃”莊園內，並配有電台一部，救護車一輛。
在國民黨開辦的所有培訓班中，遊幹班最為與眾不同。遊幹班中，長官帶頭參加學習、遵守規章制度，不允許長官打罵侮辱學員。這是國民黨軍隊中從未聽説過的新鮮事。因此，不但學員很擁護，長官也表示贊成。
葉劍英曾經參與過黃埔軍校的籌建，任教授部副主任。到延安後，他又擔任工農紅軍學校校長。在軍事教育上有豐富的經驗。在培訓中，葉劍英借鑑黃埔軍校和紅軍學校辦學的成功經驗，強調教育訓練要從抗戰的實際出發，嚴格要求。各門課程的教學大綱和講義教材，都由他直接審定。不僅如此，葉劍英還親自講授“游擊戰爭概論”這門主課。有些學員開始瞧不起“土八路”，認為游擊戰搞不出什麼名堂來，後來一聽講課，覺得很有道理，就逐漸佩服起來了。
國民黨軍事委員會軍訓部學員程兆熊在對遊幹班的“視察報告書”中承認：“學員曾向餘言及游擊戰術一課之實地演習情形，謂絕非紙上談兵之可比，該班訓練之切實，當可想見。”
葉劍英上課時通常身穿一套褪了色的軍裝，講得深入淺出，通俗易懂。他精闢的見解，出色的口才，儒雅的風度，深深吸引住了所有在場的聽眾。當時來聽葉劍英講課的，甚至還有衡山各寺廟的和尚。
國際新聞社戰地記者高詠在一篇通訊中描述了葉劍英講授“游擊戰爭概論”一課的情形：“在課堂上，游擊戰爭戰略家葉劍英先生的游擊戰爭概論一課，最為學員們所愛好。這一門課，在課表上規定是二十小時，佔全班軍事學科七分之一，每次上課兩小時，總要發生學生提延長時間的要求。每一次上課，都是肅穆的空氣統治着課堂，游擊戰爭的革命意義，游擊隊產生的客觀條件，游擊戰的運用，每一個單字，都在每一個聽眾的腦子裏爬過，也在每一個聽眾的筆記簿上爬過。下課的號聲響了，聽眾還是不願意走，‘再講五分鐘好不好？’，這個問題常常發出來，這話語裏充滿了迫切的求知心與戰士的要求。”
在衡山，遊幹班的學習任務很重，食宿條件很差。葉劍英雖是副教育長，但他和全體學員一樣，保持着艱苦樸素的作風。他對國民黨同事坦誠以待，交心談心，結下了深厚的友誼。
國民黨高級將領李默庵是黃埔第一期學生，十分尊重葉劍英。上世紀80年代，李默庵從美國歸來，特意看望葉劍英，還恭敬地稱他為“老師”。李默庵回憶這段往事，感慨地説：“我是他的學生，在南嶽，凡是教育方面的事，都由他作主，他講的游擊戰術課，改變了國民黨軍將領只打正規戰的觀念。我們也學着發動民眾，開展游擊戰爭，消滅敵人有生力量，不計一城一地之得失。這在國民黨軍中開創了先例，對推動抗日戰爭起到了很大的作用。”
在葉劍英等中共方面人員的感染下，不少學員表示結業後要效力戰場，同共產黨游擊隊並肩作戰。學員吳眾、石堅、吳澎、鄺定家等畢業後參加了新四軍一支隊，活躍在抗日最前線。
1939年6月初，中共中央調葉劍英去重慶，協助周恩來主持南方局的工作。後來，1940年，受“皖南事變”的影響，辦到第三期時，中共方面的教官和工作人員便全部撤出了。
