抗战初期，日军只有21个师团，不管是原有的17个常备师团或者新组建的四个特设师团，都采取四单位制编制，即师团辖两个旅团，每个旅团辖两个步兵联队，这是抗战初期日军一个师团最基本的编制，满编人数在25000至30000人之间，师团辖下的旅团兵力最多可达8000人，每个步兵联队人数在3500至4000人之间。

但是，自从发动了武汉会战之后，日本外强中干的本质就暴露了出来，内耗严重根本维持不了持久战，随着战争的扩大化军队物资补给面临着严重的压力，四单位制师团已经无法适应战争的需求，而且国力也无法支撑这么庞大规模的师团编制，部队开始出现了小型化、多样化建设。因此，到了抗战中期，日本不得不改变对华策略，在政治上企图“以华制华”；军事上企图“以战养战”，在扩军的同时师团的编制发生了根本的变化，即师团被分成了甲乙丙丁四个等级而且兵力间差异很大，起初只有甲、乙师团还采取两旅团四步兵联队制编制，总兵力一般在20000至25000人之间，所辖下的旅团人数在6000至7800之间，步兵联队人数在3000至3800之间。除此之外，为了维持占领区及扫荡任务需要、或者战场的特定作战任务需求，日军这一时期还成立了二十多个独立混成旅团，这是仅此于师团的编制，直接受军部指挥，一般下辖1至2个步兵联队或者3至6个步兵大队不等，独立混成旅团总兵力一般在5000至6000人之间。如在黄土岭战斗间，被八路军炸死的阿部规秀独立第二混成旅团，就下辖五个步兵大队，总兵力5000余人。但也有比较特别的，就是武汉会战间从台湾狂奔战场的波田支队，也叫台湾混成旅团，参加昆仑关战役时下辖两个步兵联队及一个炮兵联队，总兵力11000余人，每个步兵联队人数不少于4000人。太平洋战争爆发后，日军开始取消了四单位制的编制，由甲级或者乙级师团中抽调出一个步兵联队来编入新的师团或者旅团及支队，师团取消旅团一级建制，直辖三个步兵联队，此时的师团不管是总兵力人数还是战斗力，都大不如前，一流的师团兵力基本上都不超过20000人，二流或者三流的师团兵力不超过15000人，甚至更少。如我们熟悉的第五师团，也是日军师团编制比较大的部队，满编人数曾高达30000人，调往马来半岛前取消了“旅团”建制，抽出了第41步兵联队组建了东支队，但是第五师团仍有近25000人；再如土肥第十四师团，参加徐州会战时四单位制编制的兵力约22000人，战后抽调出了第50步兵联队加入新建的第29师团，调往太平洋战场时改编成了三单位制的海洋师团，总兵力不过14000余人，每个步兵联队3200余人。