抗日战争爆发后，吕正操率领的东北军两个营和一部分群众武装，到河北开展游击战争，开创了冀中抗日的新局面。在这种新形势下，具有强烈爱国心的马本斋挺身而出，组织了回民抗日武装——回民义勇队，开始了同日本侵略者的英勇斗争。

不久，马本斋和党组织取得了联系，在党的领导和八路军的帮助下，回民义勇队迅速发展、壮大，改名为冀中游击军回民教导队。1938年7月，回民教导队和吕正操组织的冀中军区回民干部教导合编为回民干部教导总队，马本斋任总队长。就在这一年，马本斋光荣地加入了中国共产党。他在入党申请书上写道：“我决心为回民族的解放奋斗到底，而回族的彻底解放，只有在中国共产党帮助与领导下方能实现。”此后，他以无比的热情和坚强的毅力，完成党交给他的各项任务。

马本斋率领的这支回民武装，机智勇敢地战斗在冀中平原上，给了日伪军以沉重的打击。1940年的康庄战斗中，马本斋指挥部队从四面八方向敌军猛烈进攻，经过半小时的战斗，除六、七个伪军逃跑外，其余50余人全部歼灭。这一次战斗，缴获大炮一门，重机枪一挺，轻机枪两挺，步枪60余支，马10余匹，以及许多弹药。八路军冀中军区通报嘉奖马本斋同志，并授予回民总队“攻无不克，坚而不摧，打不垮，拖不烂的铁军”的锦旗。

在艰苦的战争岁月里，马本斋认真学习，忘我工作，关心群众疾苦，关心战士生活，受到群众和战士的爱戴。由于长期劳累，他身患疾病，但为了工作，他不愿休养、治疗，直到病得不能起床，才被同志们送进了医院。后来，病情进一步恶化，他估计医治无效，就嘱咐家属说：“我觉得不能为人民为国家为党做更多的工作是件憾事，教孩子继续我的志向做革命工作，告三弟领导回民族抗战，革命到底。”

1944年2月7日，中国共产党的优秀党员，中华民族的优秀儿子马本斋，在山东莘县不幸逝世，终年43岁