部隊控制不住，上海又成了共產黨和工人的天下，在蔣介石等人看來，此時的上海，工會“氣焰熏天，已完全脫離了國民黨的掌握”。蔣介石為此沮喪不已，心急如焚，直到第七軍軍長李宗仁也來到上海。

看到李宗仁到來，蔣介石立即沙啞著喉嚨對他說：“我不幹了，我不幹了！”

李宗仁聞言吃了一驚：“在這種情況下，你不幹，責任就能了嗎？”

蔣介石啪地把抽屜打開，取出了何應欽的辭職電：“何應欽也辭職了，你看我怎麼能幹得下去？”

像蔣介石這樣名利心極重的人，當然不會真的說不幹就不幹，發半天牢騷，也不過是在試探李宗仁的態度而已，囙此他在表露出絕望情緒的同時，仍一再試探著問李宗仁：“德鄰兄（李宗仁字德鄰），你看怎麼辦？”

李宗仁向以善斷著稱，他馬上說：“我看只有以快刀斬亂麻的管道清黨，把越軌的左傾幼稚分子鎮壓下去。”

李宗仁的這句話讓蔣介石很是滿意，但隨後他又欲擒故縱式地來了一句：“現在如何談清淡呢？我的軍隊已經靠不住了。”

李宗仁已經替他想好了辦法，叫做“一步一步來”。他計畫先從第七軍調一部到南京附近，以監視滬寧線上掌握不住的部隊，使其不敢輕動，再把第二師中所謂“靠不住”的軍官全部調職，整理完畢後調到滬杭線上，用以監視其它各師。必要時，薛嶽、嚴重也可予以撤換，“以鼓軍心”。

按照李宗仁的設想，一旦以上的軍事部署就緒，共產黨“只是釜底遊魂”而已。

李宗仁所言正合蔣意，他點了點頭：“我看暫時只有這樣做了，你先把第七軍調到南京再說。”李宗仁遂命第七軍主力自蕪湖向南京推進。

有軍事實力作為保障，蔣介石一下子氣壯了不少。1927年3月29日，上海臨時市政府得到武漢國民政府及國民黨中央的正式批准認可，但蔣介石卻以北伐軍總司令的身份發來函件，稱軍事時期，一切行政均與軍政有關，“若不審慎於先，難免糾紛於後”。他以此為由，要求臨時市政府暫緩辦公。

怕崇禧、鈕永建依葫蘆畫瓢，二人雖被選為市政府委員，但都拒絕參加宣誓就任委員的典禮，給出的理由就是市政府領導權已被操持在共產黨手裡。

蔣介石及其黨羽的這些舉動，理所當然要遭到武漢方面的反擊。4月1日，武漢政府發出通告，免除蔣介石國民革命軍總司令一職。對蔣介石而言，軍職比其它職務更加重要，他對此可謂氣急敗壞。

蔣介石是革命黨人出身，凡事都要給自己找個冠冕堂皇的理由，在當天的日記中，他這樣寫道：“如果只是個人的進退出處，不可介意，但這是關係到黨與國家的問題。”那調調，仿佛他蔣某真成了黨與國家的希望，瓷娃娃一般，碰都碰不得了。

蔣介石隨後向全國發出聲明：“革命責任，不容推諉，誓必自責，完成北伐。”也就是說你武漢政府要我下臺，老子偏不下，你能拿我怎的？

至此，武漢政府和蔣介石已完全處於對立狀態。

4月2日，蔣派在上海龍華召開“清黨”會議，應蔣介石之邀來滬的李濟深、黃紹竑均出席了這次會議。黃紹竑是新桂系要員，自然和李宗仁、白崇禧一個鼻孔出氣。李濟深雖曾以國民黨左派自居，且與蔣介石不睦，但他是新桂系的後臺，新桂系的李、白既然已與蔣介石結盟，他也就很自然地改變立場，與蔣介石坐到了一條船上。

不過到此時為止，對於要不要“清黨”，蔣介石仍顯得舉棋不定，他倒不是不忍下手，而是認為對付共產黨尚無把握。白崇禧見狀站起來，厲聲說：“你們怕共產黨，我不怕，你們不幹，我白某人一個人也要幹。我馬上就要從我的防區內殺起！”

怕崇禧這番殺氣騰騰的話，立刻把與會眾人的情緒都調動起來，“清黨”決議也就此得以通過。