抗戰勝利後，國民革命軍74軍被整編為74師，國民政府軍政部根據各部隊在抗戰時的表現，評出了五支戰鬥力最强的部隊，他們分別是整編74師，整編11師，整編第五師，新一軍，新六軍，這五支部隊被譽為五大主力。

整編74師，也就是國民革命軍74軍，是當時名氣最大的部隊，因為這支部隊幾乎參與了抗戰期間的所有大型會戰，多次給予日軍重創。抗戰勝利後，黃埔四期畢業的張靈甫擔任整編74師中將師長，這支部隊也換裝了全套美械裝備，所有官兵也都是具有實戰經驗的老兵，戰鬥力十分強悍。

整編74師裝備的重武器數量很多，共裝備105毫米榴彈炮12門，75毫米山炮54門，37毫米戰防炮36門，81毫米迫擊炮96門，60毫米迫擊炮108門，火箭筒36具，火焰噴射器54具，重機槍108挺，1080挺7.62毫米1918A2輕機槍、2400支9毫米美制M1湯姆森衝鋒槍和加拿大斯太令卡賓槍，無線電報話機配備到連，共有機動車約300輛、騾馬1000匹，軍官全部配9毫米勃朗寧M1911A1手槍。

抗戰勝利後，整編74師一直駐防南京，師長張靈甫兼任南京警備區司令，囙此整編74師還被譽為是御林軍。但是張靈甫不甘心充當門面，他給自己立下了五年昇上將的目標，並多次向蔣介石請戰，要求率領整編74師部隊出征。整編74師被投入到華東戰場後，確實給華野造成了很大的麻煩，漣水戰役就是一個典型的例子。

1946年6月下旬，蔣介石調集50萬大軍對蘇皖解放區首府淮陰發動進攻，被譽為國軍五大主力的整編74師和第五軍都在其中。雖然我軍多次給予敵軍重創，但是張靈甫十分狡詐兇悍，最後攻克了淮陰城，之後又佔領了淮安，致使兩淮地區全部遺失，粟裕不得不率領華中野戰軍撤退到蘇北根據地。

兩淮地區和整個蘇中根據地的陷落，嚴重影響了我軍士氣，尤其整編74師强大的火力和強悍的戰鬥力，給革命军參戰部隊留下了很深刻的印象。淮陰失守之後，張靈甫的下一個目標就是漣水，面對這種情況，粟裕决定抽調主力，和整編74師打一場硬仗。

兩淮失守後，蔣介石本來想把張靈甫的整編74師調回南京休整，但是張靈甫不同意，他認為這是繼續建功的好機會。1946年10月初，南京國防部很快下達了蘇北作戰第二期計畫，要求薛嶽，李默庵南北會師，佔領山東，打通津浦線。

張靈甫的整編74師又是一馬當先，向漣水進犯。漣水位於淮陰東北約40公里，是蘇北門戶，也是聯系山東解放區和蘇中解放區的樞紐，張靈甫進犯漣水，將會直接威脅華中後方。此時薛嶽也動用兩個整編師，向魯南解放區發動進攻。

面對南北都有大敵的情况，粟裕建議暫緩向北行動，先殲滅南面的敵人。陳毅同意華中野戰軍南移，但是又决定將山東野戰軍撤回山東，保衛魯中南解放區，這立刻引起了華中分局張鼎丞等人的反對，因為如果山東野戰軍撤出的時候，僅憑華中野戰軍，粟裕將無法完成作戰計畫。官司一直打到了毛主席那裡，最後毛主席支持了粟裕。

1946年10月17日，張靈甫指揮整編74師三個旅和整編28師第192旅，共三萬多人的兵力，氣勢洶洶地向漣水發動進攻。戰鬥開始之前，張靈甫曾往漣水城內派去了特務，偵查革命军的兵力部署，但是國民黨的特務一進城，就被華中野戰軍的四中隊，也就是科技偵查中隊給察覺到了，粟裕並沒有讓人動手抓他，一直等到這個特務發出最後一封電報後，才將其抓獲。

國民黨特務給張靈甫發出的電報表示，城裡只有一個團的兵力。但是國民黨特務不知道的是，成均率領三個團埋伏在城外，隨時準備進城支援。

漣水城被兩條大河夾著，南面是老黃河，北面是鹽河，按常理來說，敵軍不會從南北兩面進攻，因為這兩面都是大河，渡河很容易遭到革命军的打擊。但是張靈甫並不是尋常將領，張靈甫使用的戰法被稱之為“寬大正面進攻”，也就是看上去部分重點，但又似乎處處都是重點的全面進攻。

張靈甫以“寬大正面進攻”的戰術發起進攻後，最後選擇從城南的老黃河發起進攻，整編74師51旅在炮火的掩護下開始渡河攻城。整編74師擁有300多門火炮，炮火之猛烈，讓很多新四軍老兵都十分驚訝，南門渡口的地堡，工事全部都掀翻在地。

整編74師大舉進攻後，成均迅速率領主力回援，戰役十分慘烈，整編74師的步炮協同戰術也十分熟練，步兵衝鋒也不是一窩蜂的往上沖，而是組成一個個衝鋒組，每組四五個人，發動小規模的集群沖鋒。成均最先放在城內的一個團傷亡過半，後面放上去的三個團也傷亡慘重，形勢十分危急。

此時粟裕也很著急，更讓粟裕悲痛的是，華中野戰軍第十縱隊司令員謝祥軍前往前沿陣地指揮所觀察敵情。當他站在指揮所外面，拿起望遠鏡察看黃河對岸的敵情時，被敵人的狙擊手冷彈射中，當即犧牲，時年32歲。謝祥軍的犧牲是誰也沒有預料到的，但是粟裕為了穩定軍心，下令封鎖消息，堅持打下去。

粟裕這樣做是有著深層次原因的，1935年的譚家橋戰役中，紅十軍團就是因為軍團長劉疇西優柔寡斷，從而導致部隊全軍覆沒，軍團長劉疇西被俘後遇害，閩浙贛省蘇維埃政府主席方志敏被捕後犧牲，紅19師師長尋淮洲戰死，只有紅十軍團參謀長粟裕帶著幾百人突圍了出來。此戰後，粟裕每逢大戰，無論遇到什麼艱險的狀況，都不會改變自己的作戰决心，漣水戰役也是這樣。

漣水戰役最艱苦的時候，王必成率領華中野戰軍第六師趕到，王必成和張靈甫在淮陰戰役就交過手，雙方有著血海深仇。王必成剛率部隊趕到，就和整編74師短兵相接，硬是在一個小時內乾脆俐落地殲滅了74師一個營。張靈甫立刻明白，華野主力趕來了。

粟裕先後派去了28個團前來增援，整編74師傷亡慘重，傷亡7000餘人。但是華野還是沒有將其整編74師全部殲滅，華野的傷亡也不小，十縱司令員謝祥軍，更是成為了解放戰爭期間華野戰死的最高級別指揮員，如果活到1955年，最低也是中將軍銜。