瓦崗軍首領翟讓，本來是東郡的一個小吏，因為得罪了上司，被打進牢監，還被判了死罪。有個獄吏同情他，跟他說：“我看你是條好漢，怎么能在牢里等死呢。”一天夜里，獄吏偷偷地砸了鐐銬，打開牢門，把翟讓放了。

翟讓逃出了牢監，逃到東郡附近的瓦崗寨，招集了一些貧苦農民，組織了一支起義隊伍。當地一些青年人，聽到這個消息，都來投奔他。其中有一個青年叫徐世勣（音ｊī），年紀才十七歲，不但武藝高強，而且很有計謀。

徐世勣勸翟讓說：“這里附近都是貧苦的老鄉，我們不應該去打擾他們；我看滎陽一帶，來往的豪門富商很多，不如到那里去籌辦點錢糧。”

翟讓聽從徐世勣的意見，帶領農民軍到滎陽一帶，專門打擊官府富商，奪取大批資財。附近農民來投奔翟讓的越來越多，很快就發展到一萬多人。

李密投奔翟讓以后，幫助翟讓整頓人馬。那時候，附近各地還有一些小股的農民隊伍。李密到各處去聯絡，說服他們聯合起來，聽從翟讓指揮。翟讓十分高興，跟李密漸漸親近起來。

翟讓雖然有了很多人馬，但是他并沒想到自己能推翻隋煬帝。李密對翟讓說：“從前劉邦、項羽，本來也是普通老百姓，后來終于推翻秦朝。現在皇上昏庸暴虐，百姓怨聲載道，官軍大部分又遠在遼東。您手下兵強馬壯，要拿下東都和長安，打倒暴君，還不是輕而易舉的事！”

翟讓聽了很高興，說：“您的意見太好了，我倒沒想到這一點呢。”

接著，兩人商量了一番，決定先攻打滎陽。滎陽太守向隋煬帝告急。隋煬帝派大將張須陀帶大軍鎮壓。

張須陀是鎮壓農民軍的老手。翟讓曾經在他手里打過敗仗，這次聽說又是張須陀來了，有點害怕。李密說：“張須陀有勇無謀，再加上他自以為強大，驕傲輕敵。我們利用他的弱點，保管能打敗他。”

李密請翟讓擺開陣勢，正面迎擊敵人；他自己帶了一千人馬在滎陽大海寺北面的密林里設下埋伏。

張須陀欺翟讓不是他的對手，莽莽撞撞地指揮人馬掩殺過來。翟讓抵擋了一陣，假裝敗退。張須陀緊緊追趕，追了十多里，路越來越窄，樹林越來越密，正是李密布置的埋伏圈。李密一聲令下，埋伏的瓦崗軍將士一齊殺出，把張須陀的人馬團團圍住。張須陀雖然勇猛，但是被伏兵層層包圍，左沖右突，沒法脫圍，終于全軍覆沒。張須陀也被起義軍打死了。

經過這一場戰斗，李密在瓦崗軍里提高了威信。李密不但號令嚴明，而且生活樸素，凡是從敵人那里繳獲來的錢財，他都分給起義將士。日子一久，將士們就漸漸向著他了。第二年（公元６１７年）春天，李密勸說翟讓，趁隋煬帝在江都巡游，東都空虛的機會，進攻東都。瓦崗軍派人到東都刺探軍情，被隋朝官員發覺，加強了東都的防御。李密就改變計劃，提議先打東都附近的興洛倉（在今河南鞏縣）。

興洛倉也叫做洛口倉，是隋王朝建造的最大的一個糧倉。倉城周圍二十多里，城里挖了三千個大窖，每個窖里貯藏著八千石糧食。這都是隋王朝多年來從各地農民身上搜刮來的血汗。

翟讓、李密兩人帶七千名精兵攻打興洛倉。這些兵士原是流離失所的農民，一聽得攻打官府的糧倉，個個摩拳擦掌，勇氣百倍。他們向興洛倉發起猛攻。駐守在興洛倉的隋軍還想頑抗，但是怎么也抵擋不住像插翅猛虎一般的瓦崗軍。興洛倉被攻破了。

瓦崗軍攻破興洛倉以后，立刻發布命令，開倉分糧。兵士們打開一口口糧窖，讓老百姓盡情地拿。受饑挨餓的農民從四面八方擁向糧倉，從頭發花白的老人，到背著孩子的婦女，一個個眼里帶著激動的淚花，前來領糧。大伙對瓦崗軍的感激心情，就不用提了。

接著，瓦崗軍又打敗了東都派來的隋軍救兵。到這時候，瓦崗軍的指揮權漸漸集中在李密手里。翟讓覺得自己的才能不如李密，就把首領的地位讓給李密。大家推李密為魏公，兼任行軍元帥。

瓦崗軍在洛口建立了自己的政權后，乘勝攻下許多郡縣，隋朝官吏兵士紛紛投降。瓦崗軍一面繼續圍攻東都，一面發出討伐隋煬帝的檄文，聲討煬帝的罪惡，號召百姓起來推翻隋王朝的統治。這一來，把整個中原都震動了。

正當瓦崗軍勝利發展的時候，內部發生了嚴重分裂。翟讓把首領位子讓給李密后，翟讓手下有些將領很不愿意。有人勸翟讓把權奪回來，翟讓卻總是笑呵呵的不當一回事。但是這些話傳到李密耳朵里，李密就很不高興。李密的部下攛掇他除掉翟讓。李密為了保自己的地位，竟起了狠心。

有一天，李密請翟讓喝酒。在宴會中間，把翟讓的兵士都支開了，李密假意拿出一把好弓給翟讓，請他試射。翟讓轉過身子，剛拉開弓。李密布置好的刀斧手就動起手來，把翟讓砍倒了。

打那時候起，瓦崗軍開始走了下坡路。但是，北方由李淵帶領的一支反隋軍卻正在強大起來。