1857年4月，石達開經略江西倍感困難，只得放弃江西基地，進入浙江、福建。此後他長期在窮山僻壤中運作，孤軍奮鬥，流動作戰，沒有後方基地，給養沒有保證，又帶著大批家眷，尾大不掉，行動遲鈍。他避實擊虛越走越遠，越走越進入更為封閉的南方腹地大山裏去了。他和他的部隊只一味流動作戰，很少打過好仗，而且是屢打屢敗；尤其是1858年圍攻浙江衢州和1859年初圍攻湖南寶慶（邵陽）的兩次長圍攻堅戰。

石達開進攻浙江，是為了解除江西各地的湘軍威脅。在衢州城下圍攻兩個月，沒有任何進展。浙江是清軍餉源重地，各路清軍紛紛趕來。而石達開因為大軍遠征，反而把後方江西撫州、建昌等根據地全部丟了，沒奈何只有從浙江全線撤退進入福建，之後再從福建轉入湖南。

而在湖南全軍圍攻寶慶，更是一著臭棋。攻寶慶目的是打開入川大門。石達開軍中有很多是湘南人，對本地地形相當熟悉。如果他能及時放弃死攻寶慶的打算，聽從意見，繞過堵截的清軍是能進入四川的。但他卻一意孤行，把二十萬大軍放在堅城圍攻，以至冗日持久，師老兵疲。寶慶是一座堅城，自太平軍1852年進入湖南起就努力經營，廣積糧，高築牆，深挖濠。儲藏有十二個庫倉幾萬石糧，用巨石加固城牆，城外連接長壕三二層，在城郊遍設鄉團，協同作戰。石達開孤軍圍城，沒有後方基地，糧食奇缺之至，多乃捕掠民間，軍隊紀律差，更引起本地群眾反抗，屯兵城下，曠日持久，各路清軍迭至，其中很有戰鬥力的有兩支，一支是江忠源舊部劉長佑軍，從西面來攻；另一支是李續宜部湘軍從東面來攻，東西兩路歷經四十天戰鬥，石達開還是因糧食已盡，軍心不固，不得不撤退。

兩次圍攻，興高而來，掃興而走，顯示了他的指揮失誤和才幹枯竭。石達開的威信開始降溫。

在他轉戰福建、湖南和廣西等地時，麾下先後就有九批人馬卷起翼殿大旗，分道揚鑣。其中有影響而且勝利地回到太平天國區域的有三支：

一支由東王宗楊輔清率領的。楊輔清是天京內訌前兩個月，離開江蘇到達江西的。內訌發生後，他害怕天王羅織罪名，即引軍進入福建。後來加入石達開的部隊編制。1858年因打出“東殿”旂號，為石達開不喜，率先脫離石達開，折回江西、皖南，上奏洪秀全表示擁護。洪秀全這時正在為楊秀清恢復名譽，大為歡喜，立即授他為中軍主將，以替代不出京門的蒙得恩。

第二支是1860年秋由廣西脫離石達開的。這是翼王所轄的精銳和主力部隊。它又分三支，一支是由張志公、鄭忠林和汪海洋等分別率領，自柳州、桂林東走，據說有六七萬之眾。張志公等人在靈川投降；只有汪海洋拔旗而走，率本部人馬由靈川攻佔興安，入湖南、江西，併入李秀成部。還有一小支是譚體元部，在江西併入李世賢軍。

第三支是由彭大順、吉慶元、童容海和朱衣點等率領，擁有四五萬之眾，在輾轉一年餘以後，千辛萬難，在福建為首的彭大順受傷死，其餘人馬至江西鉛山，併入李秀成部，而此時的李秀成部，已擴展到二十萬之眾了。洪秀全大為高興，將這支人馬賜以“扶朝天軍”番號。

這些人馬的先後脫離，使石達開的力量大為削弱，石達開眾叛親離，兵勢衰竭。