1949年，隨著國民黨在渡江戰役中的慘敗，蔣介石開始謀求建都重慶、割據西南的計畫，他一面將兵力往西南方向收縮，佈置一道道防線，一方面開始建立西南軍政機构，做長遠割據的打算。5月，蔣介石宣佈成立了西南軍政長官公署，統一領導西南地區的部隊，那麼，由誰出任一把手？蔣介石在慎重考慮後，終於打定主意，决定由張群出任西南軍政長官公署首任長官。

張群是何許人也？他也算是國民黨政壇不倒翁，與蔣介石關係匪淺，兩人乃是同班同學，又是結拜兄弟，囙此張群一直是蔣介石最信任的謀士，由他出任首任長官，再合適不過。為了守住西南一隅，蔣介石親自乘專機飛往重慶，與張群一起商討對策，兩人都認為現時的防守重點應該放在川北，於是蔣介石直接向胡宗南下了命令，讓他往川北方向調動部隊，守住革命军入川的防線。

不過，西南軍政長官公署雖然建立起來了，卻並未發揮出應有的作用，一是因為蔣介石多次進行微操，根本不給張群指揮的機會；二是因為張群雖然深得蔣介石信任，卻不得下級軍官們信賴，沒人服他。事實上，對於張群出任西南軍政一把手，國民黨黨內很多人非常不滿，胡宗南、何紹周、宋希濂、羅廣文等黃埔系將領便首先向張群發難，宋希濂、何紹周等人曾秘密召開會議，商討對策，宋希濂直截了當地說道：“他張群會打什麼仗，要不是有老頭子，他能有今天的地位？來，聯名給老頭子寫個報告，我們請求胡大哥來指揮！”

就這樣，由宋希濂親自起草報告，數十名黃埔系將領簽名，向蔣介石請願，請求由胡宗南全權指揮西南決戰。不過，雖然蔣介石看了這份請願書，但還是不置可否。至於為何蔣介石沒有讓胡宗南全權指揮西南戰役，只有一個原因，那就是他對胡宗南等人的軍事能力並不信任，他想親自進行指揮。事實證明，蔣介石高估了自己的指揮能力，恐怕到最後敗退臺灣他才明白這一點。就這樣，西南軍政長官公署雖然建立起來了，卻成為了一個形同虛設的機构，根本沒有實際指揮權，决定還是在蔣介石的手裡。

張群也相當鬱悶，名義上是西南軍政一把手，實際上就是一個傳令官，專門給蔣介石傳達命令，當然他也無可奈何。話說到了12月，張群奉命前往昆明，傳達蔣介石的訓示，結果讓人沒有料到的是，雲南省主席盧漢正好起義，張群被盧漢軟禁。張群與盧漢關係不錯，最後好說歹說，盧漢才答應放了張群。此後，張群直接逃往香港，卸任西南軍政長官之職。