從元朝建立到清朝滅亡，國家只在西北設陝西、甘肅兩省。元至元十八年（1281年），甘肅被設為行中書省。明代中央在西安設定布政使司，統轄陝甘地區。直到雍正三年（1725年），甘肅才開始脫離陝西，獨立成省。中央在甘肅設布政使司，駐地蘭州。

近代以前，甘肅省的轄境包括今天的整個甘肅、寧夏和青海，以及新疆的一部分地區，轄區範圍前所未有的廣闊，名列內地諸省首位。但由於西北各地區地理環境不同，社會經濟發展水准不一，又是眾多少數民族聚集之地，所以統一管理頗為不易。到了清末，上至廟堂下到江湖，圍繞著甘肅分省這一問題的議論增多了起來。

光緒三十三年（1907年），兩廣總督岑春煊在廟堂首提青海建省之議。光緒帝之前也有聽聞甘肅分省的議論，遂命令袁世凱、徐世昌等有關大臣商議此事。是年12月16日，陝甘總督昇允上奏說，甘肅財政庫存捉緊，且少數民族聚集地風氣未開，建議先在青海的少數民族聚集地開墾荒地，作為甘肅分省的基礎。光緒聽完後，又令政務處覆議分省一事。

1908年，政務處上奏青海沙漠面積大，本屬蠻荒之地，加上少數民族百姓多聚集於此地，現在還談不上什麼民風開化，他們的日常生活來源就是依賴遊牧。如果在青海建省，不僅其風俗文化與內地不同，而且就怕設定了行政管理機构，因為遊牧民族居無定所，也很難管理約束他們。另外，設省必然需要耗費巨額費用，而今正是國庫空虛之時，發放官餉都已經不足。所以倒不如先採用陝甘總督昇允的建議，等到各民族齊心了，經濟發展起來了，再來商議建省之事。

光緒聽完政務處的建議後，覺得挺有理，所以最後兩廣總督岑春煊關於青海建省的建議就被擱淺了。

民國建立後，青海建省的議題又被擺到檯面上了。經過不同等級官員的建言獻策，到民國四年（1915年）10月，中央决定將青海蒙藏地區劃歸甘肅省管轄，青海省雛形開始出現。

民國十四年（1925年），國民軍首領馮玉祥督辦甘肅軍務，首次提出將甘肅、青海、新疆劃為六省的構想。

馮玉祥的意圖是，現在寧夏、青海都是由回族將領控制，如果在兩地建省的話，省主席由中央委派，到時國民軍就有機會滲透進去，此為其一。第二是因為中央規定每個省只能保留3個師的軍事編制，如果寧夏、青海建省，國民軍就能合法新增兵力了。

民國十五年（1926年），馮玉祥響應國民革命軍，與蔣介石合作北伐。北伐勝利後，馮玉祥乘機向蔣介石“邀功”，於1928年正式提出將甘肅劃分為3省。因為內政部長薛篤弼就是馮玉祥派系的人，所以甘肅分省的提案毫無懸念馬上就通過了。

從民國十七年（1928年）開始籌備、搬遷，到第二年1月1日，寧夏省、青海省就正式成立了。