开皇七年（公元587年）四月，为了扫灭南陈，统一全国，隋文帝修复了山阳（今江苏淮安）、江都（今江苏扬州）之间从淮河入长江的水道。之后出兵进攻江陵，灭掉后梁，为荡平南陈扫平了道路。开皇八年（公元588年），隋文帝以次子杨广为统帅，发兵50万大举进攻南陈政权。在这次战争中，武将们个个都取得了卓越的功勋。如贺若弼率先渡过天险长江，韩擒虎则活捉陈后主，杨素沿江东下扫除了残余势力。到开皇九年（公元589年正月），陈朝各地纷纷归降于隋。隋文帝统一全国，结束了自西晋末年以来中国270多年来的分裂局面。之后，隋文帝还平定了地方豪强的叛乱。由此，一个统一的多民族封建中央集权国家又重新建立起来。
励精图治开皇盛世
杨坚建立隋朝后，为了巩固政权，他采取了一系列有利于社会经济发展的政策措施，这些改革几乎涉及封建社会的各个方面，包括中央和地方的政治体制、赋税、土地制度、法律、钱币、对外关系等。
在政治体制方面，隋文帝废除北周六官制，恢复汉、魏旧制，基本确立了三省六部制度。在中央设三师、三公及五省。三师只是一种给予德高望重者的荣誉职衔，三公则相当于国家机关的顾问，没有实权，也不常设。真正掌握政权的是五省，五省包括尚书省、门下省、内史省、秘书省和内侍省，其中秘书省和内侍省不起重要作用，其他三省才是真正的政权机关。内史省负责决策，门下省负责审议，尚书省负责执行。尚书省是主持日常政务的机构，设有尚书令和左、右仆射各一人，下设有六部。六部包括吏部、礼部、兵部、刑部、户部、工部，吏部负责全国官吏的任免、考查、升降等；礼部掌管祭祀、礼仪及接待；兵部负责全国武官选用和管理兵器、军令等；户部掌管全国土地、户籍、赋税和财政收支等；刑部则掌管法律、刑狱等；工部负责的是各项工程、水利、交通等。三省六部制的确立，使得分工更加明确，组织更加严密，加强了中央集权。这套制度对唐朝及以后历代王朝影响都十分巨大，它的建立也表明了我国封建制度已经发展到成熟的阶段。