1948年3月，徐向前决定攻擊臨汾。臨汾守軍由胡宗南的兩個團加一個炮兵營和閻錫山的六十六師組成，加上各種雜牌武裝、還鄉團、保安隊、保警隊約八個團，總兵力三萬餘人。但臨汾城防工事經過日軍和閻錫山軍隊的逐年加修，是一座易守難攻的堅固堡壘。據說，臨汾自建城之日起還沒有被哪支軍隊攻破過。這是國民黨軍在晋南的最後一個軍事據點。如果攻擊得手，便可以使晉冀魯豫和晉綏、呂梁解放區連成一片，徐向前的部隊就可以北上晋中直指閻錫山的老巢太原了。但想打下來，是不容易的。

攻擊臨汾的時間定於一九四八年三月十日。但是，接連發生的兩件事令徐向前警覺起來：首先是十三縱隊奔襲閻錫山的六十六師一個團的時候，竟然撲了空，六十六師師長徐其昌率增援部隊繞道汾河西岸，最終帶領一個團的正規軍和三個團的警衛部隊順利進入臨汾城；接著，胡宗南為加强西安守備，决定將他的三十師三十旅從臨汾撤出空運回西安，而且已經運走一個營了。徐向前决定將攻擊時間提前三天。3月7日，對臨汾的戰鬥開始，但戰鬥异常艱苦，至三十日，攻擊臨汾的戰鬥進行了二十二天，攻擊部隊已付出傷亡近四千人的代價。徐向前不得不改變攻擊戰術，各攻擊部隊奉命即刻轉入隱蔽挖壕工作。十天以後，四條通向臨汾城防外壕的坑道挖好。

四月十日，八縱二十三旅被調過來攻擊東關。兩小時的火力準備之後，一萬六千斤炸藥被點燃了，霎那間，整個關東磚石橫飛，火光沖天，臨汾城外壕被炸開兩處大缺口。然而，攻擊臨汾的戰鬥正處在艱苦的僵持中時，戰局陡變，傅作義和閻錫山集中兵力準備偷襲石家莊。中央軍委認為必須保住石家莊，詢問徐向前是否能在短時間內攻克臨汾，是否能抽出兩至三個旅的兵力北上，在太谷附近阻擊進攻閻錫山的主力部隊。徐向前堅持認為，對臨汾的攻擊已經持續一個多月，部隊傷亡已經近萬人，如果放弃攻擊不但功虧一簣，更重要的是損害攻擊部隊的鬥志，還會使晋南戰局陷入複雜化。徐向前堅持攻擊臨汾的决心得到朱德的支持。

四月底，十五條進攻坑道和四十條掩護坑道都已經靠近城牆。國民黨守軍開始近乎絕望破壞行動，炮火轟擊、飛機轟炸持續不斷，挖壕的坑道一次次被炸塌，革命军官兵們一面反擊一面修復，傷亡非常慘重。五月初，八縱二十三旅的三條主坑道與巨大的爆破洞終於挖掘完畢。從政治部主任到戰士，長長的隊列開始傳送炸藥。為了防止炸藥潮濕，所有的人都把衣服脫了蓋在炸藥上面。炸藥的堆積數量十分驚人，看來徐向前和他的官兵决心把臨汾城炸上天。1948年年5月17日傍晚，驚天動地的巨大爆炸聲還未停止，臨汾城牆已被炸出了兩處近四十米寬的大口子，八縱突擊部隊蜂擁而入。5月18日淩晨，臨汾城被攻佔。臨汾攻堅戰鬥之難，時間之久，消耗之大，戰況之慘烈，在晉冀魯豫軍區戰史上前所未有。在歷時整整七十二天的攻堅中，部隊傷亡一萬五千三百餘人，是敵人的三倍，同時，臨汾城周邊百姓動員支前民工二十萬人，運送門板二十六萬塊、梁木十萬根，糧食幾百萬斤。至此，晋南地區全部解放，呂梁、太嶽兩解放區連成一片。同時，第8縱隊第23旅戰功卓著，晉冀魯豫軍區前指授予其“臨汾旅”稱號。這是全軍唯一一支獲榮譽稱號的師級組織，更為重要的是，這場戰役的主要特點和經驗之一，是我軍以坑道爆破為主要手段進行奪關攻城，成為日後戰史研究的經典範例。