馬家軍源於清末爆發的河湟回民起義。1863年(同治三年)，受陝西、寧夏回民起義影響，甘肅河州莫尼溝大阿訇馬佔鰲起兵反清，青馬先人馬海宴此時投身軍中，為馬佔鰲得力戰將。
1872年，馬佔鰲等太子寺一戰“黑虎掏心”大敗湘軍，之後力排眾議，在馬海宴、馬千齡的支持下，挾勝而求撫，率眾歸降朝廷。隨後起義軍被朝廷收編，重要頭目封以官爵。此事件奠定了河州諸馬崛起的基礎。
在民國以前，河州諸馬軍事力量為“西軍”時期，仍延續馬佔鰲降清時的格局，即以馬佔鰲子系(子馬安良)為首，轄制馬海宴子系(子馬麒，馬麟)和馬千齡子系(子馬福祿，馬福祥)。
馬佔鰲降清時，馬千齡無軍職，後為朝廷鎮壓回民起義才自組民團成軍。諸馬先隸屬於董福祥的甘軍系統，後獨立一系，為清廷東征西討，特別是抗擊八國聯軍時，諸馬為當時清軍最英勇之部隊。民國後，馬佔鰲子系在政爭中淡出歷史，馬海宴子系和馬千齡子系分據青海(青馬)和寧夏(寧馬)，先後投靠北洋政府和國民政府(馮玉祥、蔣介石)，逐漸養大成為割據一方的封建軍閥。
