營建東都洛陽的同時，隋煬帝又下令開鑿大運河。隋煬帝繼承皇位之前，曾長期駐扎江都(今江蘇揚州)。他到過南朝的都城建康(今江蘇南京)，非常向往六朝的豪華。此外，民間還傳說，隋煬帝為了挖斷睢陽的王氣，就征調工役，開鑿運河。其實，這挖斷王氣不就是要對南方加強控制嗎？
大業元年三月，隋煬帝征調一百多萬民夫，開始了挖掘運河的工程。首先開鑿的是通
濟渠。通濟渠西起洛陽的西苑，東到淮河邊上的山陽(今江蘇淮安)，溝通了洛水、黃河、淮河，再接通春秋時期吳王夫差開通的邗(音：寒)溝，便通向了長江。這段運河水面寬四十步，兩岸筑成大道，道的兩旁栽種楊樹和柳樹，從洛陽到江都兩千多里，楊柳成行，樹木成蔭。在運河兩岸設置許多驛站，每兩驛建一座離宮，總計有四十多座，專供隋煬帝休息。隋煬帝還下令在揚州建置了江都宮。大業四年(公元608年)，大運河向北延伸，開水濟渠，引沁水到黃河，北到涿郡(今北京)。大業六年(公元610年)，大運河又向南延伸，開江南河，從京口(今江蘇鎮江)引江水到達余杭(今浙江杭州)。
大業元年八月，正是金色的收獲季節，江南水鄉的美麗景色吸引著隋煬帝。他不等運河全部完工，就從洛陽出發，坐龍舟前往江都。這是一個規模多么浩大的船隊啊！煬帝的龍舟高四十五尺，寬五十尺，長二百尺。整個龍舟分四重，上重有正殿、內殿和東西朝堂，中間二重共計一百六十房，都是以金玉，雕刻花紋，下重有宦官和內侍居住。龍舟有殿腳(即挽船人)一千零八十人用青絲大絳繩牽引前進。殿腳都穿著錦彩衣袍。皇后坐的船叫翔螭(音：癡)舟，比龍舟稍小而裝飾一樣，用殿腳九百人引進。嬪妃乘坐的是浮景舟，共有九艘，每艘用殿腳二百人。貴人、美人和十六院妃子所乘的船叫漾彩舟，共有三十六艘，每艘殿腳一百人。此外，還有各式各樣的華麗大船上千艘，上面坐著宮人，諸王公主，僧尼道士，各國使者，宮廷衛士，總計用殿腳八百多人。這支浩浩蕩蕩的船隊，在運河中航行的時候首尾相接，前后長達二百多里。兩岸又有二十萬騎兵護送，馬蹄雜踏，旌旗蔽空。據當時看見的人講，隋煬帝的龍舟已出發五十多天，隨從的船只才剛剛離開洛陽。
一天，龍舟正在行進途中，隋煬帝突然想起了三國時代橫槊(碩，古代類似矛的一種武器)賦詩的曹操，便興致勃勃地走出正殿。他放眼運河兩岸，只見人來人往，絡繹不絕，這些人中有抬的，有擔的、有推的，形態各不相同。隋煬帝有些詫異，不知這些人在干什么，便向左右的人詢問。原來，在隋煬帝龍舟經過的五百里范圍內，州縣都要貢獻糧食，全部是山珍海味，佳肴美饌(音：轉)。宮人們吃不了，許多東西都倒掉。這些來往的人們，正是奉命向隋煬帝貢奉食品的。隋煬帝聽完侍臣的介紹，顯得更加驕矜。那曹操的形象在他心目中早已經無影無蹤了。這年十月，煬帝到達江都，他在那里住了半年。
他住在洛陽西苑的時候，仍然想盡辦法尋歡作樂。他曾叫人捕捉許多斛螢火蟲，夜出游山時放出來，照得巖谷通明。不過，他的心靈深處還是充滿了恐懼。一天，大業殿起火，隋煬帝以為有人造反，趕忙逃亡西院，藏在草叢中，直到火滅了才回來。夜里睡覺，他也時常驚醒，以至必須有幾個婦人搖撫才能睡著。為了不再過這種擔驚受怕的日子，隋煬帝決定到南方去。
大業十二年(公元616年)七月，隋煬帝乘龍舟開始了他第三次江都之行。這時北方和中原大地已經烽火遍地。建節尉任宗、奉信郎(即掌印信的官員)崔民象、王愛仁等曾上表勸諫，希望他不再南行。隋煬帝非常惱怒，把他們都殺了。到了江都以后，隋煬帝叫揚州總管王世充選擇江淮美女送入宮中，計有一百多房。他每日叫各房美女輪流作樂，沉湎于酒色之中。一天，隋煬帝對蕭皇后說：“外面有人算計我，但我還是長城公(陳后主)，你仍然是沈氏(后主妻)，讓我們快樂的歡飲吧。”說完，他又對著鏡子照著說：“這么好的一個腦袋，不知誰會把他砍下來呢？”蕭皇后臉色大變，問：“皇上是什么意思？”隋煬帝笑著說：“貴賤苦樂，都要互相更迭。這沒什么值得感傷的。”