在1945年日本投降以後，在華北地區蔣軍其實就只有，閻錫山和傅作義兩個系統。傅作義的根基只有1個軍，閻錫山的部隊大部分已經被嚴重削弱。囙此，閻錫山就開始策劃留用日本人。這也就是所謂的：，“日本寄存武力於中國”。

特別是在1945年10月，閻錫山的晉綏軍主力在上黨戰役中損失慘重，當時有“上黨一戰，閻軍實力損失一半”之說。這讓閻錫山加快了留用日軍的步伐。特別是留用了日軍第14混成旅團少將旅團長元泉馨。還有日軍獨立混成第3旅團旅團長今村方策大佐等等。

當時閻錫山發了一萬多份意願書，截止1946年，有招募了691名日軍和2447名日軍兩種說法，以這些日軍為骨幹編練為暫編第10總隊，大約3000人。這些日本人天天都可以吃大米，而閻錫山的晉綏軍只有高粱米。

閻錫山認為，日本人打仗够拼、够狠，戰鬥力够彪悍。囙此才說出：“寧招一萬日軍，也不要十萬國軍”。閻錫山還邀請日軍幫助他們訓練部隊，比如所謂的親訓師和親訓炮團等部隊。還利用日本人訓練了6個護路大隊在太原，陽泉等鐵路沿線充當預備隊。建立了所謂機甲隊。

說了起來，這些日本人對於提高閻錫山部隊的戰鬥力，還是起到了很大作用。閻錫山是解放戰爭當中，堅持時間最長的軍閥部隊。渡江戰役發動，我軍南京解放以後，太原還多守了一天。

這主要是因為閻錫山找了很多日本工兵為他設計碉堡工事，在《晋系軍閥全傳》中寫道，晉軍專門有一個“碉堡建設局”，留用了日本軍事科技人員200餘人，作為各碉堡區構築鋼筋水泥工事的技術指導，他們此後為閻設計了對付我軍的“沒奈何碉”，這種碉堡全部用鋼筋水泥築成，在其槍眼孔內安設了一個水泥球體，中心留有槍眼，可以隨意旋轉，射擊時將槍眼轉向正面，停射時將槍眼轉到側面，外面槍彈射不進去。確實很有日本風格。

在1948年6月，閻錫山主力13萬人困守太原，為了將晉綏軍調出太原城，在野外進行殲滅。徐向前所部進行調虎離山式的運動，終於將閻錫山的野戰軍司令趙承綬調出太原。趙承綬帶領晉綏軍主力緊靠鐵路，密集行動，不給我軍進行分割包圍的機會。

但是我軍抓住戰機，在榆次以2萬軍隊堵住了趙承綬3萬軍隊。7月8日，在經過兩天的圍困後，徐向前認為敵人鬥志被瓦解得差不多了，下令調集所有上百門火炮，發動總攻，要一舉吃掉趙承綬的這3萬大軍。

就在這個時候，一批敵人突然端著刺刀沖出來進行反撲。等到這些人沖到跟前，我軍突然發現這些都是日軍。在抗戰已經結束3年以後，我們又在戰場上遇到了日軍。這些日軍都是老兵，他們要組織一次兇狠的衝鋒，企圖撕開我軍的包圍圈。為被包圍的晉綏軍打開逃生通道。很快我軍就沖上陣地，雙方攪在一起爆發了猛烈的白刃戰。

現在已經不是1937年，而是1948年6月，我軍拼刺刀能力已經不比日軍差，而且還要超過日軍。很快，這股日軍就被殺乾淨，還擊斃其司令元泉馨，這也是我軍在中國戰場，擊斃的最後一個日本將軍。而包圍圈裏的3萬晉綏軍也很快繳槍投降。

最後的戰鬥爆發在太原，根據《保衛山西——日籍部隊太原戰役親曆記》的日本作者回憶道：當時，日軍主要在太原小東門和體育場一帶，我軍排華非常猛烈，從四面八方轟擊守軍陣地。最後軍隨即司令部所咋的一棟四層建築物也中彈震塌了一半，城內上空炮彈嘯聲嘶嘶，遠的近的爆炸聲響，已辨不出是何方所發。

日軍計畫使用輕機槍和自動步槍為突擊火力，組成衝鋒隊在城牆後面阻擊我軍衝鋒部隊。但是當我軍大炮轟開大北門的城牆以後。看到大勢已去，殘餘日軍和家屬交出軍刀和武器，向我軍投降。至此，日軍為骨幹編成的暫編獨立第10總隊全軍覆沒。