杨素攻下并州后，解散了原锐锋营的人马，在告别会上，杨素感谢将士浴血奋战，承诺给予重奖，让他们回家静候佳音。然后，杨素率领大军押解杨谅回京。
在先皇杨坚（隋文帝）后期，朝中大臣高颎、杨素、苏威三人分摊了朝中的主要职权，这三人都能各司其职，相互制约，其中只有杨素是杨广继位的铁杆支持者，所以在杨广登基之初，对杨素是言听计从，再加上杨素在平叛过程中显露出的超强能力，至此，杨素在朝中的地位已无人能够抗衡。
杨素得胜还朝后，杨广为了彰显杨素的特殊地位，又升杨素为尚书令，将都城内的一处皇室的府邸赏赐给他，不久又拜为太子太师，前后赏赐给他的东西不计其数。
现在，杨广的异己已经清除，叛乱已经平息，但新的烦恼来了，就是杨素的奏折引起的，这份奏折详细上报了各级将士的功绩，以及按例应获得的赏赐，涿郡崔弘昇所部、和原锐锋营人员的赏赐尤重。
杨广知道杨素有三狠，而且朝野闻名：
1、对朝中大臣狠，挑错不留情面，清流自赏。（无结党之嫌）
2、对待手下将士狠，军规苛刻，执行严格。（曾有队长怯战，斩杀全队的事例）
3、讨要赏赐狠，手下将士每获战功，都能得到丰厚奖赏。（前提是能要到钱）
杨广见到奖赏的数额这么大就心痛不已，更叫他烦恼的是赏给士兵钱财，只会更加提升杨素的威望。杨广心想，这场平叛之战要是自己指挥的该有多好！。
杨广已经将这份奏折给内阁成员看了，并提示是否合理、是否有难办之处，然而无人提出异议，尤其是苏威，他分管财务，竟然说财政支出无问题。
杨广终于想出折中方案，同意奏折，但是，鉴于马上要修建东都洛阳和修建运河，国库财政紧张，先折半兑现，以后再补发其余金额。
杨广为什么要急于修建东都和运河，简言之，为了中央集权。洛阳地处隋王朝的中心地带，在此下达中央指令，比在长安快一天，修建运河后，交通运输就更加便利了。
另外，杨广登基以来，每次朝会，自己虽然高高在上，但面对大臣们的奏请，都有先朝旧例可寻，自己除了准奏，无事可做。杨广忧虑于大权旁落，必须尽快开创自己的事业。
杨广召开内阁会议，提出立刻修建东都洛阳和修建运河，高颎、杨素、苏威等都是朝堂的老臣，明白提议的实质是抓权，当然不能反对。苏威身为主管财政，考虑到缓解财力和人力的负担，提出先建运河，再建东都。
杨广顿时拉下脸来，说道：“先皇开创我朝，励精图治，各位大臣勤勉，我朝疆土和人口都远超历朝，如此昌盛，怎能说负担不起。再说，早一天建成东都和运河，就能早日获利，到时政令畅达，商业繁茂，税收增加，如此利国利民的大事，岂能拖拖拉拉。”
苏威被说的哑口无言，只能连连称是。
杨广令杨素负责修建东都，高颎负责修建运河---通济渠（由洛阳到杭州入长江），苏威提供所需财力，三位务必尽心，争取早日完工。
三人不敢怠慢，一份份政令从上往下层层传达，各级府衙立即行动起来，征用徭役，调配物资，轰轰烈烈大干起来，杨广看到眼下的大臣们，都在按照自己的要求忙碌，感到心情舒畅，意气风发。
605年，杨广宣布开创新时代，年号为大业元年。
杨素全力赶建，不到一年，就将东都建成，杨广随即下令迁都洛阳（606年）。
杨广借迁都之利，开始调整机构，重新任命官员，架空高颎、杨素、苏威等旧臣。
杨素督建洛阳都城完工后没多久，眼见杨广倒行逆施，无力劝阻，不久病倒了，杨素卧病在床的时候，杨广常派一些有名的医生前去诊治侍候，然后就问医生杨素的病情，看似关心，实则盼他早死。
杨素知道自己的名望深受皇帝忌惮，自己不死，所有相关的人都受牵连，自己越早死去，自己以前对杨广的好，他就忘掉的越少，自己的亲朋得到的余荫就越多。于是，杨素暗中不再吃药，仅病了一个多月，就病逝了。
606年（大业一年）8月，杨素病逝，享年
62岁。果然，杨广追赠杨素为光禄大夫、太尉公及弘农、河东、绛郡、临汾、文城、河内、汲郡、长平、上党、西河等十郡太守，谥号“景武”，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷子小麦五千石、织物五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。