34师由赵云祥担任师长，副师长金奎壁（原东北军107师师长），参谋长范子侠。34师下辖35旅、36旅。其中35旅的前身是老33旅，曾经是郑胡子麾下最强的部队。36旅则由收编的冀中地方部队组成。35旅旅长马彪（此前担任34师副师长，跟吴全福一样，降级使用），36旅旅长夏云庭（原八路骑兵团团长，曾在35旅担任副旅长）。跟33师一样，也是四个主力团，三个补充团。各主力团番号分别是351团、352团、361团、362团。