抗日战争爆发后，1937年9月25日，中共中央、中央军委主席毛泽东发出“全华北党(包括山东在内)，应组织发动抗日武装起义，创建自己的武装，开展游击战争”的指示，中共中央北方局也发出“每一个优秀的共产党员，应该脱下长衫到游击队去”的号召。山东省委于10月间在济南召开会议，讨论中共中央关于在山东发动人民抗战的指示，制定了分区发动武装起义的计划。会后，山东省委和各地方党组织负责人，延安派来的红军干部和一部分平津流亡学生，迅速分赴各地，发动抗日武装起义。从1937年11月至翌年，抗日武装起义相继在各地举行，陆续成立了八路军山东抗日游击队、山东人民抗日救国军、山东人民抗日游击队等抗日武装。具体情况介绍如下：
一、山东人民抗日救国军第一军(亦称华北民众抗日救国军)
抗日战争爆发后，中共鲁北特委等党组织在冀鲁边区的乐陵、宁津、阳信、无棣、南皮、 沧县、庆云、盐山等地举行了不同规模的武装起义。1937年9月，各地起义武装在盐山县旧县镇圣佛寺会合，成立山东人民抗日救国军第一军，近千人。军事委 员长兼司令员邢仁甫，参谋长张策平、周凯东，政治部主任马振华。部队组成后，很快发展到7000余人，但成分复杂，共产党直接领导的仅300余人，在艰苦 的斗争中，大部先后叛离，12月，中共鲁北特委为与国民党地方实力派建立统战关系，共同抗日，曾一度改用国民革命军别动总队第三十一支队的番号，支队长邢 仁甫，副支队长王昭明、杨靖远，政治部长周砚波、范普权，副部长于文彬、崔月南、李启华。1938年7月，第三十一支队改编为平津支队，支队长邢仁甫，政 治委员李宽和，副支队长冯鼎平，参谋长李铮侯，政治部主任崔月南。9月编入八路军东进抗日挺进纵队。
二、第十支队
1937年11月，中共鲁西北特委与国民党爱国将领范筑先合作抗日，将堂邑、冠县、馆陶3县起义武装及部分游杂部队合编为范部第十支队，由特委直接领导。司令员张维翰，政治部主任王幼平。1939年1月改编为筑先纵队，归一二九师领导。
三、山东人民抗日救国军第三军
1937年12月24日，在中共胶东特委领导下，以昆嵛山游击队为骨干，在文登天福山举行武装起义，成立山东人民抗日救国军第三军，1938年1月19日成立胶东军政委员会，胶东特委书记理琪任主席，副主席吕志恒；第三军司令部司令员理琪，政治部主任林一山。
1938年3月9日，中共掖县县委组织领导的抗日武装，组成胶东抗日游击第三支队。支队长郑耀南，副支队长周亚泉，参谋长赵森堂，党委书记兼政治部主任张加洛。
1938年2月，胶东军政委员会开始整编各地起义武装，将3个主力大队编为三军第一路；蓬莱的抗日武装为第二路；文登、荣成、牟平、威海的抗日武装为第三路；黄县的抗日武装为第四路；即墨、莱阳、招远等地起义武装分别编为大队。掖县的第三支队名称不变。
5月，第三军第二、第四路与马保三率领的八路军鲁东抗日游击第七、第八支队会师黄县，组成抗日联军。指挥马保三，政治委员林一山，参谋长赵修德，政治部主任宋澄；前敌指挥部指挥韩明柱，政治委员张加洛，副指挥郑耀南。
9月18日，第三军、第三支队统一整编为八路军山东人民抗日游击第五支队，辖5个团。司令员高锦纯，政治委员宋澄，参谋长赵锡纯，政治部主任宋竹庭、于 眉。第五十五团(由第三军第二、第三路及第三支队各一部编成)，团长李华(回东)；第六十一团(由第三军第一、第二路各一部编成)，团长赵一萍，政治委员 刘仲华；第六十二团(由第三支队编成)，团长郑耀南，政治委员李耀文；第六十三团(由第三军第三、第四路各一部及莱阳起义武装编成)，团长于得水，政治委 员张玉华；第六十四团(由鲁东第七、第八支队各一部编成)，团长陈龙飞，政治委员翟瑞甫。
11月，第五支队改编成3个旅。第十九旅由第五十 五、第六十一、第六十三团编成，旅长高嵩，政治委员宋竹庭，参谋长王瀛洲、政治部主任李丙令；第二十一旅由第六十二、第六十四团编成，旅长郑耀南，政治委 员李耀文，政治部主任张加洛；第二十五旅由1938年9月投诚的国民党栖霞县警备队刘万岭部编成，旅长刘万岭，政治委员柳运光。
四、山东人民抗日救国军第五军
1937年12月27日，由中共山东省委派去的姚仲明、廖容标等与长山中学校长马耀南在临淄长山之间的黑铁山举行抗日武装起义，成立山东人民抗日救国军 第五军。淄川、章丘、临淄、益都、桓台等地起义武装先后编入第五军。司令员廖容标，政治委员姚仲明，政治部主任赵明新，行动委员会主任兼参谋长马耀南。
1938年6月，第五军改编为八路军山东人民抗日游击第三支队。司令员马耀南，政治委员霍士廉，副司令员杨国夫，参谋长郑兴，政治部主任鲍辉。辖第七团 (由黑铁山起义部队编成)，团长马晓云，政治委员孙正；第八团，团长程绪润；第九团，团长杨国夫(兼)；不久，将中共党员李人凤从顽固派王尚志部拉出来的 第三大队编为第十团，团长李人凤，政治委员陈兴。10月，第八团拨归鲁中第四支队。
五、八路军鲁东抗日游击第七、第八支队
1937年12月底，中共鲁东工委书记鹿省三(纪文华)，在昌邑、潍县北部领导抗日武装起义，成立八路军鲁东抗日游击第七支队。辖第一、第二、第三、第四大队和1个骑兵队。支队长王培汉，政治委员鹿省三，参谋长李福泽，政治部主任王翼之(王一之)。
12月29日，在中共鲁东工委和寿光县委领导下，张文通、马保三在寿光牛头镇举行武装起义，成立八路军鲁东抗日游击第八支队。辖第一、第三、第五大队和1个特务队。指挥马保三，政治委员张文通，副指挥韩明柱，参谋长马健生，政治部主任杨涤生。
1938年3月，第八支队东去昌邑与第七支队会合。4月初，鲁东工委决定将两部合编为八路军鲁东游击指挥部，统一指挥两个支队。司令员马保三，政治委员鹿省三、张文通，副司令员韩明柱、张洪礼，参谋长李福泽，政治部主任王翼之。
鲁东游击指挥部成立后，即东上掖县、黄县。5月12日与第三军会师，组成抗日联军。
6月，为协调军政关系，成立军政委员会。主席张文通、副主席马保三、王云生、赵修德。部队改编为8个大队。指挥马保三，副指挥韩明柱，参谋长刘光汉，政治部主任王翼之。
7月，八路军鲁东游击指挥部奉命返回清河区。为加强领导和指挥，决定撤销第七支队番号，统称第八支队，部队改编为3个区队(团)。第一区队由第一、二、 三大队改编，区队长李福泽，政治委员张子明；第三区队由第五、七、九大队改编，区队长何凤池，政治委员于筱辉；第五区队由第十一、第十二大队(由收编之龙 口公安和海关部队改编)编成，区队长魏培德，政治委员王永周。12月南下鲁中，开辟沂蒙山区抗日根据地，并编入山东纵队。
六、八路军山东人民抗日游击第四支队
1938年1月1日，在山东省委直接领导下，省委书记黎玉、委员林浩和红军干部洪涛、赵杰在泰安徂徕山组织抗日武装起义，成立八路军山东人民抗日游击第 四支队。莱芜、新泰、泗水、博山、莒县、临沂等地共产党领导的起义武装，相继编入该支队。到1938年4月，发展到4000余人，编为3个团。司令员洪 涛，政治委员黎玉、林浩，副司令员赵杰，政治部主任林浩(兼)，经理部主任马馥塘。第一团，团长程绪润，政治委员景晓村；第二团，团长赵杰(兼)、程鹏， 政治委员程照轩；第三团，团长汪洋，政治委员张岗。
是年春，第四支队曾使用过“山东人民抗日联军独立第一师”番号。6月，遵中共中央及中共苏 鲁豫皖边区省委指示，恢复原番号。司令员廖容标，政治委员林浩，副司令员赵杰，政治部主任孙陶林。廖容标从清河第三支队所带主力一部约千余人，编为第四支 队第四团。团长廖容标(兼)。
七、山东西区人民抗敌自卫团
1938年1月1日，山东省委派张北华和地方党组织负责人远静沧等， 在泰安夏张镇领导抗日武装起义，中旬与泰安、肥城等地抗日武装汇合，成立山东西区人民抗敌自卫团，辖3个大队200余人。主席张北华，副主席葛阳斋，政治 部主任远静沧。到3月底，部队发展到2000余人，1000多支枪，编为17个大队。六七月间，整编成两个基干大队、1个独立团、1个独立营。
1938年2月初，刘星根据中共鲁西南工委的指示，从东平、汶上组织100余人，携带50多支枪，在汶上县永安寺举行抗日武装起义，成立汶上县人民抗日 自卫队。4月，中共鲁西北特委决定将该自卫队编为第十支队挺进纵队。9月，又将东平县起义武装编入挺进纵队，改称第十支队挺进梯队，共1000余人。司令 员陈伯衡，政治委员刘星。
1938年11月，山东西区人民抗敌自卫团与第十支队挺进梯队等部合编为山东人民抗日游击第六支队，辖4个团 4000余人。司令员刘海涛，政治委员张北华，副司令员何光宇，参谋长马继孔，政治部主任李冠元。第一团(由第十支队挺进梯队编成)，团长陈伯衡，政治委 员刘星；第二团(由自卫团第一基干大队与大峰山独立营编成)，团长刘志远、曹洪胜，政治委员张潭、邹鲁风；第三团(由自卫团第二基干大队和第十七支队编 成)，团长于会川，政治委员李文甫；独立团(由泰安武圣域领导的抗日武装编成)，团长武圣域，政治委员夏振秋。
八、苏鲁人民抗日义勇队第一总队
1938年3月，中共苏鲁豫皖边区特委书记郭子化，从国民党第五战区争取到苏鲁人民抗日义勇队的番号，与张光中、何一萍、李乐平等在滕县、峄县、临沂、 邹县、费县、沛县等地组织抗日武装。5月，各地起义武装在枣庄以西墓山会师，成立苏鲁人民抗日义勇队第一总队，辖3个大队，600余人。总队长张光中，政 治委员何一萍，参谋长韩文一，政治部主任王见欣。另外，刘钊、石世良、韩去非、丁梦荪等在临沂、郯城一带组织的青年抗日救国义勇队，董瑶卿、董开福(董一 博)等在滕(县)峄(县)边组织的农民抗日自卫军，彭建华、冯起、步云亭等在邹县组织的抗日游击总队和栗培元、张云榭在邳县组织的青年救国义勇军，也都编 入第一总队。9月，根据中共苏鲁豫皖边区省委的决定，第一总队曾用过国民党专员张里元部“直辖第四团”、“保安第二旅第十九团”的番号。
九、苏鲁人民抗日义勇队第二总队
1938年三四月间，中共苏鲁豫皖边区特委和中共鲁西南工委，分别在苏鲁皖地区之铜山、丰县、沛县、肖县、砀山、单县、金乡一带组建抗日武装。徐州失陷 后，日军沿陇海路西犯，湖西完全处于敌后。各县共产党组织纷纷发动起义，成立抗日武装。6月11日，各地起义武装在丰县南渠楼汇合，正式成立苏鲁人民抗日 义勇队第二总队，辖第五、第六、第七、第八大队。总队长李贞乾，政治委员王文彬、郭影秋，副总队长祝良银，参谋长张如，政治部主任孙叔平。6月13日，第 二总队进至丰县华山镇尹小楼一带，与丰县、金乡、肖县的部分抗日武装先后编成20余个大队，共5000余人。
十、八路军山东人民抗日游击第四支队第六大队
1938年3月，共产党员邵德孚、李仲林等在沂水、莒县组织抗日武装，后编为八路军山东人民抗日游击第四支队第六大队。7月，以第六大队为基础，扩编为 八路军山东人民抗日游击第二支队。司令员罗积伟，政治委员杨昆。8月中旬，第二支队在莒县大店整编。司令员刘涌，政治委员景晓村，政治部主任李仲林。
