1947年夏季，徐向前被中央軍委任命為晉冀魯豫軍區第一副司令員。

這時解放戰爭已進入第二個年頭，山西境內之敵紛紛縮進了鐵路沿線的一些縣城裏，其中的運城為晋南門戶，打下它既可以切斷閻錫山的退路，又可威脅隴海鐵路，徐向前將其定為了自己的第一個攻擊目標。

由於劉鄧大軍、陳謝兵團相繼南進，晉冀魯豫軍區留下的正規部隊少得可憐，只能從地方武裝陞級，以解兵力不足的燃眉之急。雖然整編後的軍區部隊也有五萬之眾，但新兵多、骨幹少、裝備差，而且普遍缺乏攻堅作戰的經驗。

早在打造紅四方面軍時期，徐向前就強調使用新部隊時，第一炮一定要打響。那時候指揮作戰，他一開始都不會把新部隊投入到傷亡較大的强攻或阻擊中去，只有等主力部隊熬過難關，發起反擊，才會派新部隊跟著老部隊去追殲潰敗之敵。

按照過去的規律，如此搞上幾次以後，新部隊就知道怎麼打仗了，士氣也會越打越高。可是解放戰爭的情况非常特殊，徐向前手下就沒什麼老部隊，全是新部隊，結果運城打了兩次都沒能打下來，部隊士氣頗受影響。

徐向前很著急，他倒不是怕運城最終打不下來，而是擔心幹部戰士會就此失去信心。為此他立即進行戰鬥動員，一方面肯定攻城戰鬥對外線作戰的配合作用，另一方面主動承擔了失利的領導責任，為大家減輕壓力。這樣部隊情緒才穩定下來，並全力投入於攻城訓練。

訓練期間，正好王震縱隊路過晋南，休整待命。王震縱隊是老部隊、生力軍，徐向前便抓住機會，請該縱隊加入作戰。三打運城，儘管仗仍然打得很苦，但在王震縱隊的參與下，終於還是把運城拿了下來。

此戰既鍛煉和提高了晉冀魯豫部隊的戰鬥力，也為革命军攻堅都市提供了初步經驗。運城既奪，整個晋南的敵據點只剩下了臨汾一座孤城。

1948年初，徐向前發起臨汾戰役，集中近十萬兵馬包圍了臨汾。臨汾城內的晉軍和部分國民黨中央軍加在一起，不到三萬，革命军在兵員數量上占絕對優勢，而且城內守敵也失去了獲得增援的可能。不過這並不表明臨汾易取。

革命军

臨汾是著名的軍事重鎮，據說歷史上從來沒有人能攻破過臨汾，連闖王李自成都屢攻不克。臨汾郊外有一個叫掛甲屯的村莊，傳說就是因為李自成在城下被射瞎了一隻眼睛，他氣憤不已，在拍馬而去時把盔甲掛在了屯莊的一棵樹上。

上黨戰役後，閻錫山為保住晋南，更加積極地經營臨汾。到徐向前要指揮晉冀魯豫部隊攻取臨汾時，臨汾的城內城外早已是壕溝交錯，碉堡林立，成了一座易守難攻的堅固要塞，被閻錫山視為“銅牆鐵壁”。

就算是真的“銅牆鐵壁”，也必須砸開。解放戰爭進入反攻決戰階段後，都市攻堅變得越來越重要，但成功的例子還不是很多。朱德曾專門發來訓示，要求通過發起臨汾戰役，將晉冀魯豫部隊培養成為專門的攻堅兵團，並向全軍提供攻堅大城市的經驗。

出征之前，徐向前對夫人說：“這次出去，打不下臨汾不回來！在臨汾戰役之前，晉冀魯豫部隊已經有攻下運城的經歷，但就都市攻堅的難度而言，運城與臨汾相比只是小巫見大巫。

打運城，難的主要是登城，掃清週邊的戰鬥較為順利。根據這一經驗，晉冀魯豫各縱隊多以戰鬥力稍差的部隊攻擊週邊據點，以便保留主力用以攻城。誰知週邊據點極為難攻，革命军每佔領一座房屋，攻取一座碉堡，都會遭到敵人的拼死抵抗，也都要付出血的代價。

每個據點的攻取已經不易，鞏固更是難上加難。敵人發現失去一個據點，就會馬上組織反擊，或進行火力逆襲。革命军這時候往往只重視進攻，不重視防禦，結果有些據點好不容易佔領，又被敵人奪去，還有些據點遭到敵人的猛烈炮擊，部隊的傷亡人數比攻佔據點時都多出好幾倍，吃了大虧。

為什麼會這樣？與守敵選擇的技戰術其實頗有關聯。閻錫山的山西晉軍素以擅守著稱，連閻錫山本人都一貫重視防守戰法，他們野戰可能不行，但守城卻真的很有一套。中國古代有一部兵書《尉繚子》，認為守城必須固守城郊險要據點，臨汾守敵基本遵照了這一兵家古訓，對週邊防禦極為重視。

他們採取“外强中幹”的防禦戰法，不但將主力部隊布於週邊，還在城外修築了警戒、護城、城垣外壕等三道防禦陣地，其間碉堡和壕溝暗道密佈，防守體系非常嚴密。

徐向前深感這場攻堅戰比原來預想的更為複雜艱難。發現問題後，他立即改變戰法，除保留一部兵力登城外，將其餘力量全部用於週邊。雖然調整了兵力，但如果不能均衡使用，仍然不能確保把好刀用在鋼刃上。

閻錫山

臨汾城西邊是汾河，不好用兵，南面和北面是平原，難以掩蔽，只有東面是同蒲鐵路，有臨汾車站和站內的幾十節破車皮可作為掩護物，便於革命军在隱蔽條件下運動兵力。原先部隊是從東南北三面攻城，權衡再三，徐向前决定改變方案，重點攻擊城東與城北。

在攻取據點的技戰術方面，徐向前也同樣做了改進。原來是重攻輕防，現在要求各縱隊攻擊前即做好防禦準備，佔領據點後必須第一時間構築陣地，組織火網，同時將突擊隊及預備隊隱蔽於陣地側後，針對來攻之敵實施反衝鋒。經過重新部署，局面得到改變，臨汾周圍的據點被基本掃清，可是城東與城北的突破計畫卻都未能實現。

此時臨汾戰役已打了二十二天，攻城部隊的傷亡超過三千，但攻城仍未取得重大進展。指揮層有人對能不能打下臨汾產生了動搖，甚至建議撤兵，徐向前則橫下一條心：“不拿下臨汾，誓不回兵。”

徐向前打仗有一股硬勁和狠勁，但絕不是那種沒腦子的硬和狠。經過冷靜分析，他决定進一步集中兵力，突破一點，拿下東關。臨汾城的西南北三面都只有城垣和城門，沒有城關，唯東面設有城關，稱為東關。

東關是臨汾主城的衛城，臨汾守敵很清楚，如果東關失守，臨汾城將失掉屏障，勢難防禦，所以他們也把東關作為防禦重點，設重兵進行防禦。

晉冀魯豫部隊共有火炮九十二門，相對於十萬之眾的大兵團來說，數量太少，用於攻城的火力不足。雖然在前一階段作戰中，炮兵也在城牆上炸開了缺口，但缺口太窄太陡，部隊無法一擁而入。

徐向前用於突擊東關的新戰法是坑道工作，即通過挖坑道接近城牆，然後將炸藥推進坑道引爆，他在土地革命戰爭時期就曾成功地加以運用。在《封神演義》裏，有一個名叫土行孫的神將，擅長鑽土行走，坑道工作也囙此被徐向前稱為“土行孫戰法”。

可是晉軍擅守這一點真不是蓋的，發現革命军挖坑道，他們也挖坑道，革命军從外往裏挖，他們就從裏往外挖，總之是絕不讓你這個“土行孫”舒舒服服地行“土遁之術”。

革命军

這是一場坑道對坑道的激烈競賽，既鬥智亦鬥力，據戰後統計，雙方所挖掘的五十米以上的坑道即達七十條之多。在坑道掘進過程中，革命军設定了聽音哨，一旦發現敵人的“反坑道”挖近，自身坑道存在被破壞的可能，便主動爆破，再繞道挖掘。如果正好與“反坑道”挖通了，就得在地下打一仗，通過消滅敵人來控制“反坑道”。

1948年4月9日，攻擊部隊共挖出四條接近護城垣的主坑道，當夜他們從十裏之外將一萬六千多斤炸藥運至城下，並運進坑道口裝填完畢。

攻城準備工作全部就緒，第二天下午，九十二門火炮同時開火，對敵陣地進行摧毀性射擊。接著進行坑道引爆，四條主坑道除一條因導火具失靈未起作用外，其餘全部引爆成功。

護城垣被坑道內的炸藥炸開兩條缺口，攻擊部隊冒著濃煙從缺口處沖了進去。經一夜激戰，防守東關的敵六十六師大部被殲，革命军佔領了東關。

臨汾一戰，攻取東關乃關鍵中的關鍵。在失去堅固屏障，且作為主力的第六十六師也被殲滅後，臨汾城內的敵人陷入極大混亂之中。

徐向前將週邊據點攻擊法和“土行孫戰法”同樣運用於攻擊臨汾城，戰鬥异常激烈，革命军前仆後繼，終於在5月17日攻入了臨汾城。至此，晋南全部獲得解放。

臨汾戰役費時七十二天，晉冀魯豫部隊付出了一萬五千人的傷亡代價。戰役結束後，徐向前特地到臨汾的城牆上去走了一圈。他的戰爭閱歷算是很豐富了，但也是第一次看到那麼堅厚的城牆和强固的防禦工事，為此不禁感慨：“勝利真是來之不易啊！”