杨迪将这些小运河连接起来，最终建成了隋朝的大运河，主要分为四段:
大业元年(605年)三月，杨迪派河南各县男女一百多万人开集渠。通济渠分为三段:西段起于东都洛阳西园，引谷水、洛水，东沿阳曲旧路，洛水在此注入黄河；洛口至斑竹中段为利用黄河的天然河流；东段起于斑竹，引黄河至老边渠路，注入淮水。
大业元年(605年)，开燕沟，用东汉陈登挖的燕沟直路代替了吴的燕沟。隋朝初期，汉沟经常淤塞。当时燕沟相当长的河道都是堰坝控制，从淮安到扬州的水上行程要四五天。岩沟北段河床坡度大，流速高。夏天水多的时候，船很难逆流而上。因此，北深堰建在北端，位于古木口(今何侠古镇)，主要是用堰门调节湖水。605年，杨迪为了航海，疏浚并扩建了旧阳沟路，并将其更名为山阳渡，作为隋唐大运河的重要组成部分。
大业四年(608年)，杨迪上书河北各县一百多万男女，开掘永济运河，引沁水河南至卓君县北。雍渠也是利用历代留下的运河和天然水道疏浚的。今河南五社至蓟县段，以沁水、清水(即渭河)疏浚。蓟县至馆陶一段，基本上是用曹操阻挡齐水流入白沟这一黄河古道形成的。馆陶、沧州段部分利用了汉代的屯石河和西汉的大江。从沧州到卓君，部分使用漳水，从独流口到漳水，开辟一条新路，与洛水相连，经洛水到达卓君。
大业六年(610年)，杨迪下令开通江南运河。然而，江南运河的开凿并非始于隋朝。江南运河的开凿历史可以追溯到春秋时期，当时吴开通了从江苏到长江的运河。隋代的江南运河只是在六朝以来挖掘的江南运河的基础上疏浚的，并不是从杨迪开始挖掘的。
隋唐大运河横跨地球10多个纬度，贯穿中国最富庶的华北平原和东南沿海地区，横跨北京、天津、河北、山东、河南、安徽、江苏、浙江8个省、直辖市。它是中国古代的南北交通大动脉，在中国历史上发挥了巨大的作用。是中国古代劳动人民创造的一项伟大的水利建设工程。
通济运河、燕沟运河、永济运河、江南运河:隋代大运河一般指隋唐大运河。在古代中国，使用天然水源、修建人工运河、灌溉农田和进行运输的历史悠久。分裂时期，地方政府为大部分开凿了一些地方运河，客观上为隋朝大运河的开通做了准备。隋朝的开河，只是连通了若干条天然河流或旧沟渠。没有当地运河的开凿，就没有隋朝开通大运河的基础。
