其實曾國藩一開始練兵的地方在長沙，後來他把長沙官場全都得罪了，遭到了長沙上下的一致排擠，才不得不離開長沙選擇在衡陽練兵。

1852年8月，太平軍圍攻長沙失敗，到了當年年底的時候湖南巡撫張亮基令羅澤南、王錱率一千多湘勇趕到長沙加强防禦。恰好在這個時候丁憂在家的曾國藩接到了咸豐下發的聖旨，令他在家鄉辦團練。此時曾國藩手上沒一個兵，便發揮了拿來主義的精神，趕到長沙與羅澤南、王錱一起合辦團練，於是羅澤南、王錱手下的這一千多阿兵哥就成為了湘軍最早的底子。

PS：羅澤南與王錱都是曾國藩的老鄉，其中羅澤南是典型的儒將，不僅學識豐富，而且指揮作戰非常得力。王錱則是羅澤南的弟子，脾氣大且性格較沖，是一員非常勇猛的戰將。

這個時候問題就來了，曾國藩與羅澤南、王錱合辦團練，指揮權歸誰呢？由於咸豐的聖旨中說的非常模糊，按其原話說就是：

“幫同辦理本省團練鄉民、搜查土匪諸事務。”

幫辦，就是協同辦理的意思，至於怎麼協同聖旨沒說，也沒有明確曾國藩在團練隊伍中的位置。其實咸豐這樣說也有他的考慮，主要是怕地方擁兵自重。不過好在曾國藩的官位非常高，回鄉丁憂之前先後擔任過禮部、兵部、工部侍郎，官拜正二品，屬於中央級的高官，羅澤南、王錱兩人品級太低，自然就認了曾國藩當老大，曾國藩便接過了部隊的指揮權。

▲面對一敗再敗的局面，咸豐經常氣得抽風

其實咸豐鼓勵地方辦團練也不是空穴來風，在白蓮教起義的時候，清廷的正規軍綠營兵就已經完全不堪大用，後來是在地方團練的協助下，才最終剿滅了白蓮教起義，所以咸豐的做法是有先例的。對於當時的咸豐來說，他手上的眾多大臣、戰將個個都是太平軍的手下敗將，他實在沒了辦法，就想到了辦團練這根救命稻草。

但曾國藩認識到，先前白蓮教失敗原因在於沒有統一的指揮，也沒有明確的目標，基本就在四川活動。而地方團練一方面堅壁清野斷絕了起義軍的供應，另一方面增大了起義軍攻城的難度，之後清軍在步步為營的策略下才打敗了白蓮教起義軍。

但是這個時候的太平軍就完全不同了，太平軍有統一的指揮，還有明確的戰略目標：攻克南京，建國江南，橫行長江，從容進退。進入南京後，太平天國改元建國，成為了割據勢力，他們一面北伐一面西征，對清朝形成了重大的戰畧威脅。同時在群眾的支持度上，太平天國不僅遠高於綠營，也略高於湘軍和淮軍。比如洪山群眾就曾裡應外合配合石達開擊敗湘軍，羅澤南囙此戰死。再如後來曾國藩困守江西的時候也經常屠殺支持太平軍的群眾，這都是因為太平天國善於安撫民心，引為己用，這些都不是白蓮教可比的。

如果是團練的話，那麼部隊就只能就地組織就地作戰，比如湘鄉地區的團練就只能在湘鄉地區作戰，如果跑到長沙地區作戰就違規了。此時曾國藩帶領的湘鄉團練能待在長沙，還是因為湖南巡撫張亮基命令這支部隊來到長沙的，但長久以往也不是辦法，曾國藩的想法是組建一支能够機動作戰的新軍，只有機動作戰才能真正遏制太平軍。

為此曾國藩上書咸豐，表示在地方辦團練的話不僅經費很難凑上，各地的訓練水准也參差不齊，不如在長沙成立一個省級團練隊伍，在各地選調精壯參加，而且省城的訓練水准較地方要高很多，我們再按照戚繼光的訓練方法加以操練，這樣就能練成一支精兵了。在這裡，曾國藩是玩了個文字遊戲，戚繼光辦的是新軍，與團練是兩碼事，他混淆了戚繼光新軍與團練的概念。咸豐在看了後被曾國藩騙了過去，表示“知道了，你去辦吧”。在得到了皇帝的旨意後，曾國藩就放開手脚大幹一番了。

從咸豐三年元月開始，在短短半年裏曾國藩就把長沙滿城文武都得罪了。

得罪文官，是因為曾國藩在軍中設定了“審案局”，類似於今天的“嚴打辦”，凡是遇到治安問題就把犯人抓到軍中進行審訊，曾國藩當時對犯人的處理辦法是：重則立决、輕則斃之杖下，再輕則鞭之千百。而且曾國藩辦案也不按照正常程式來，就算是沒有定罪的嫌疑人他也會趕在地方官員審訊之前把人提到他的大營進行審訊，不但一般人員他不放過，就算是“公務員”他也不放過，半年下來前後殺了二百多人，完全就是個酷吏了。

曾國藩的這個舉動就等於是砸了當地官員的飯碗，對於當地官員來說，他們審訊案子，經常能從原告、被告哪裡吃到不少“人情”，現在曾國藩把犯人都抓過去審了，他們沒得審，自然就斷了財路，一個個對曾國藩恨得咬牙切齒。

得罪了文官不說，曾國藩還得罪了武官。曾國藩在練了一段時間的兵後，發現這兵根本練不起來，因為軍中賞罰不嚴，士兵們也沒有上升空間，曾國藩便想通過彈劾和保舉這兩種非常手段以示獎懲，提升士氣。

他首先開刀的是長沙協副將清德，在太平軍攻打長沙的時候，清德臨陣脫逃不說，還脫掉了號衣滿街跑，成為了長沙市民的笑談。此外，綠營軍中的塔齊布是員猛將，曾國藩很想把他召到自己的隊伍中來。於是曾國藩就上了兩份奏摺，一份參劾清德，一份保舉塔齊布。結果處理意見很快下來了，清德被革職查辦，塔齊布升職。

要知道清德在當地與巡撫、提督的關係都非常好，把他辦了就等於是打了巡撫和提督的臉，搞得巡撫和提督很難看。另外塔齊布是綠營的人，曾國藩公開籠絡塔齊布來挖角，就把綠營也得罪了。

文官和武官全都得罪了，曾國藩在長沙自然也就待不久了。很快長沙地方官內部就傳達了密令，總的原則就是要跟曾國藩過不去。

在咸豐三年也就是1853年7月以前，綠營兵跟湘勇就有摩擦，到了7月之後，摩擦就更嚴重了，大多情况下是綠營找茬。

3月，榜樣與曾國藩的親兵發生口角打了起來，甚至打爛了曾國藩的轎子。

7月13日，湘勇在練槍的時候誤傷榜樣，榜樣立即興師問罪，曾國藩自知理虧只得將肇事者交給榜樣，被送到標營打了三百軍棍。

8月4日，塔齊布手下的阿兵哥與榜樣因賭錢發生衝突，曾國藩不服氣給鮑起豹發公文要求嚴懲肇事榜樣，鮑起豹二話不說捆了肇事者就送到了曾公館，然後鼓動榜樣在公館前示威遊行，這下就把曾國藩給難住了：殺了這個肇事者，肯定會引起兵變。要是把肇事者送回去，自己的部下又會耻笑。最後門外的榜樣們直接沖進了曾國藩的公館，嚇得曾國藩跑到了隔壁巡撫駱秉章的辦公室，向駱秉章求救，駱秉章建議曾國藩放人，曾國藩這才把人放了，平息了事態。不過到了第二天，曾國藩的臉就丟大了，人們一致認為曾國藩有人格障礙，心理陰影，這個事情也讓曾國藩斯文掃地。

事後，曾國藩本想把這個事情上奏朝廷，但轉念一想這種破事上奏了朝廷，最好的結果無非就是殺幾個榜樣洩憤，但自己的臉就丟到朝廷去了。况且就這種事情報給咸豐皇帝，咸豐皇帝會怎麼看待自己呢？想到這些，曾國藩也就認栽了。

這個事件後，曾國藩在長沙是待不下去了，想想還是走為上策的好，於是在8月13日曾國藩以剿匪為由就帶著部隊移駐到了衡陽。

▲到了衡陽，曾國藩才算是安定了下來

來到衡陽後曾國藩的運氣就好了起來，沒了干擾，他得以把全部精力放到軍隊建設上，部隊很快就擴充到了六千多人。此外這個時候清軍在長江沒有水師，曾國藩也瞅准了時機上書咸豐請求建立一支水師部隊，咸豐看了曾國藩的奏摺後非常高興，立即表揚，並全力支持。有了皇帝的支持，曾國藩在衡陽、湘潭兩地造船募勇，水師也逐步建立了起來，到這個時候湘軍就初具規模了。