李淵是十六國時期西凉開國君主李暠的後裔，世代顯貴。李淵的祖父李虎，在西魏時官至太尉，與宇文泰及太保李弼、大司馬獨孤信等同保魏室，是西魏八柱國之一，賜姓大野氏。北周受禪之後，追封李虎為唐國公。至楊堅官任北周的大丞相之後，李家才還複本姓。李淵的父親李昞，北周時曆官御史大夫、安州總管、柱國大將軍，襲封唐國公。李淵的母親是隋文帝獨孤皇后的姐姐。

大業十三年（617年），天隋煬帝大業十三年（617年），李淵正式任太原留守、晉陽宮監，成為這一地區最高軍政長官。李淵奉命率兵征討曆山飛賊甄翟兒，與甄翟兒遭遇在河西郡（今山西汾陽）的雀鼠穀，李淵大獲全勝。在鎮壓農民起義的過程中，李淵招降納叛，不斷擴充自己的實力。李淵之子李世民知隋必亡，暗中結交豪傑，招納逃亡之人，網羅各種人才。

李世民與晉陽令劉文靜、宮監裴寂是很要好的朋友，李世民打起造反的主意，很大程度上受到了劉文靜的影響。但是由於得不到父親的支持，李世民也不可能獨自起兵吧，被逼無奈之下，李世民與劉文靜商量出了一個計策——美人計。

有一天，裴寂在晉陽宮（相當於隋朝的避暑山莊）中宴請李淵，那個時候達官貴族喝酒找幾個美女陪一陪是很正常的事。這次的宴會，李淵就有兩名絕色美女作陪，在她們的職業技巧之下，李淵喝得酩酊大醉，然後又被扶上了床，當天晚上的事就沒有史書的記載了。只是他睡醒之後，聞見身邊的香味，覺得十分詫異，扭頭一看，發現有兩位美女睡在自己的被窩裏。當問及她們姓甚名誰，從何而來的時候，倆美女異口同聲地說：“我們來自皇帝後宮……”分別是隋煬帝的寵妃——張妃與尹妃。李淵立即從溫柔鄉裏嚇到了十八層地獄：給皇帝戴綠帽子了。

兩位美女卻帶著乞求的語氣說：“今上失德，天下大亂，與其最終逃不了受人侮辱的命運，不如托身與主公，保我們在亂世中能够活命。”

李淵顧不得說半句話，立即去找裴寂算帳。這個時候，裴寂才不慌不忙，如此這般地將李世民勸他起兵的情形複述一遍。而且現在李淵已經擔上了十惡不赦的大罪，除了上梁山沒有別的出路了。李淵在萬分躊躇之下，終於决定造反。