他從入學開始一直到畢業考試，囊括了所有科目成績的第一名，不僅創造了黃埔軍校史上一項“後無來者”的奇蹟，而且在中外軍校史上也是非常罕見的。1902年8月17日，蔣先雲生於湖南省新田縣大坪塘鄉大坪塘村，父親蔣繼堃是清末秀才，為人忠厚正直;母親肖玉秀，樸實勤勞;蔣先雲兄弟姐妹8人，蔣先雲排行最小，1917年他考入湖南省立第三師範學校。“五四”期間，在毛澤東的領導下，蔣先雲任湘南學生聯合會第一屆總幹事，與夏明翰、黃靜源共同領導組織湘南25個縣學生罷課運動。他在校期間組織革命團體“心社”，創辦《嶷麓警鐘》月刊，開了湘南革命組織之先河。身為湘南學生運動領袖，蔣先雲頗得毛澤東的讚賞。1921年，經毛澤東介紹，蔣先雲加入了中共，第二年，蔣先雲參與了與李立三、劉少奇組織領導的安源路礦大罷工，隨即成長為工人運動領袖。
1924年春，黃埔軍校第一期開始招生，吸引了全國一大批有志青年踴躍報名。蔣先雲也由中共湖南黨組織選派，經毛澤東、夏曦、袁達時介紹投考黃埔軍校。當時考試要求非常嚴格，報考者要經過初試、複試、總考試三關，先在全國19個省區進行招生初試，然後再到上海、重慶等市進行大地區範圍的複試，合格後方可到廣州參加總考試。時任國民黨中央候補執行委員的毛澤東，負責國民黨上海執行部工作，並負責黃埔軍校在上海地區(長江流域及其以北各省)考生複試工作。蔣先雲通過初試、複試後，到達廣州參加總考試。總考試包括國文、數學、歷史、地理等科目，在1200餘名考生中，蔣先雲名列第一。
令人驚歎的是，從入學開始一直到畢業考試，蔣先雲囊括了所有科目成績的第一名，且與陳賡、賀衷寒並稱“黃埔三傑”。廖仲愷驚歎他是“軍校中最可造就的人才！”據周恩來回憶，蔣介石也把蔣先雲視為自己最得意的學生。蔣先雲也因之而成為了唯一獲得毛澤東與蔣介石共同賞識的學子。當時按照國共兩黨合作的決策，在軍校裏要求師生們一律參加國民黨，由於蔣先雲進校前已經參加了共產黨，也遵照學校的決定參加國民黨，成為跨黨的黨員，由此他成為了國共兩黨都倚重的驕子，師生敬重的寵兒，一面揚威軍校內外的旗幟。蔣介石曾聲言：“將來革命成功後解甲歸田，黃埔軍校這些龍虎之士只有蔣先雲才能指揮。”1924年3月19日，蔣先雲從上海回到長沙，與李祗欣(湖南省醴陵縣人，李立三同志的胞妹，中共黨員)喜結良緣。
蔣先雲在黃埔軍校期間很活躍，擔任中共黃埔特別支部第一任書記，在廖仲愷、周恩來的幫助下，他牽頭創建中國青年軍人聯合會並任主席，發表了多篇革命文章，成為黃埔軍校最有影響力和威望的學生，影響了一大批青年軍人(包括開國元帥徐向前、紅軍高級將領左權)，很多有志青年軍人把“青年軍人聯合會”作為他們革命精神的寄託，會員由開始的2000多人迅速發展到20000多人，活動範圍由黃埔軍校延展到在廣東的軍隊和滇、桂、湘所設的軍校，進而遍及全國，成為一代青年軍人中大部分走革命道路的導航站。後來從黃埔軍校走出了許多共產黨人，很大一部分原因是與蔣先雲等人的宣傳鼓動和思想灌輸分不開的。
1925年初，蔣先雲畢業留校，擔任校長蔣介石的祕書。2月，“小蔣”隨“老蔣”參加第一次東征，兩次負傷;6月在廣州平定“楊劉”叛亂中，隻身帶領一個連衝進市中心，佔領了滇軍總指揮部，立下奇功;8月又參加第二次東征，已擔任第1軍3師7團黨代表的他在三次負傷的情況下，親率敢死隊一舉攻佔了“歷史上從未被攻克過”的惠州城。蔣先雲雖深得蔣介石的鐘愛和青睞，並被迅速提拔，但他卻信仰篤定、剛正不阿，1926年“中山艦事件”發生後，蔣介石以“中將教育長”的職務誘使他脱離共產黨，具有雙重黨員身份的蔣先雲，卻第一個公開聲明脱離了國民黨。1926年7月北伐戰爭開始後，蔣先雲任北伐軍總司令部機要祕書，“北伐文告，多出其手”，旋任補充第五團團長，授陸軍少將軍銜，轉戰粵、湘、贛、鄂。蔣介石數次派人力邀蔣先雲，許以第1軍第1師師長之職，前提是“必須發表退出共產黨的聲明”。蔣先雲不為所動，拂袖而去。
1926年底蔣先雲毅然離開蔣介石前往武漢，擔任湖北全省總工會工人糾察隊總隊長。“四一二”政變發生後，武漢各界成立“反蔣委員會”，公推蔣先云為主席，在武昌閲馬場舉行聲勢浩大的三十萬餘人“討蔣大會”，通過《反蔣宣傳大綱》、《告(黃埔軍校)各期全體同學書》等文告，出版《討蔣特刊》，高呼：“昔日校長，今日校賊！”“蔣賊不除，世無天日！”蔣先雲發表了慷慨激昂的討蔣演説，表明與蔣介石徹底決裂的堅定立場。1927年4月，25歲的蔣先雲滿懷一腔熱血和革命情懷，投入到第二次北伐，並被任命為第11軍26師77團團長兼黨代表。5月28日率部在河南臨潁與奉系軍伐作戰時，身先士卒，不幸中彈，壯烈犧牲！
1927年6月8日，在武昌中央軍事政治學校操場，中共中央為蔣先雲烈士舉行追悼大會。武漢國民政府要員，國民革命軍高級將領以及各界人士6萬餘人蔘加追悼會，周恩來主持追悼會並發表沉痛講話，惲代英致悼詞，羅章龍宣讀悼亡詩：“東南北戰鬥猶艱，戰士升騰武勝關。千古悲風臨穎路，中原忍見將星殘”……中共中央刊物《嚮導》198期發表《悼蔣先雲同志》一文;國民革命政府追贈其為中將軍銜。1984年，蔣先雲在黃埔軍校時的同期同學——中國人民解放軍元帥徐向前在其回憶錄裏，稱“蔣先雲是我的良師益友，他鬥爭堅決，作戰勇敢，頭腦敏捷，堪為青年軍人的模範”，評價不可謂不高。
