杨广当了将近两年的太子后，仁寿二年（602）八月二十四日，独孤皇后病逝，时年五十岁。她被尊称为“文献皇后”。

　　杨广表现得万分悲痛，拜见父皇杨坚时哀恸气绝，泣不成声，无法站立，但回到东宫后，他的举止马上恢复自然，可见是装的。为了表示事母至孝，他还总是装出茶饭不思的样子。私下里，他却在衣袖里藏了多个竹管，管子里装着精制的猪鱼肉脯，管口用蜡封死。夜深人静的时候，或者没人的时候，他就赶紧抽出竹管吃上几口美食，吃完了继续哭丧。

　　当时，朝野上下并没有因为太子废立一事尘埃落定而安静下来，相反是暗流涌动、争斗不断。借着皇后的丧事，一些为杨勇抱不平的人纷纷上书，给杨勇争取权益。

　　先是文林郎杨孝政上书说：“皇太子为小人所误，宜加训诲，不宜废黜。”隋文帝杨坚读后很生气，动手打了杨孝政。接着贝州长史裴肃上表，请求仿照前朝的惯例，封废太子为王。这道上表对杨坚的触动很大，杨坚觉得天底下还有一帮人在维护杨勇，这出乎他的意料。他特地征召裴肃入朝，两人面谈了杨勇的问题。虽然杨坚最终没有封杨勇为王，但激起了朝中一批大臣相继发难，更多的人则把攻击的矛头对准了尚书左仆射杨素。这引起了杨坚的警觉。

　　仁寿元年（601）正月，杨素拜为尚书左仆射，日渐独断专行、打击异己，权势膨胀。杨素的很多宗族子弟平步青云，占据朝堂。杨素的所作所为招致了朝臣的不满，杨家势力的扩张也引起了杨坚的注意。皇帝在权力方面都是非常敏感的，不允许任何人威胁到至高无上的皇权。

　　同情废太子杨勇的大臣梁毗，上书揭露杨素擅权，说：“杨素所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海稍虞，必为祸始。”杨坚开始还不相信，把梁毗打入监狱，亲自审问。这一审问，改变了杨坚的态度。梁毗说杨素在太子杨勇、蜀王杨秀获罪被废的时候，“扬眉奋肘，喜见容色，利国家有事以为身幸”。

　　梁毗的话，刺激了杨坚敏感的神经。他把杨素平时的言行在脑子里回想了一遍，判断杨素的确有专权揽政的嫌疑，于是果断决定“架空”杨素。一方面，杨坚对杨素很客气，礼遇有加，但就是不让他过问具体的政务。尚书省是负责贯彻落实政令的，但一直到杨坚驾崩之前，杨素都不再主持尚书省的政务。另一方面，杨坚剪除杨素的党羽，把和杨素关系亲密的人，比如杨约、薛道衡等人全部外放，不允许杨素扩张势力。

　　杨素的旁边，站着新太子杨广。两人早就结成了政治同盟，经过扳倒宰相高颎、推翻太子杨勇等战役后，杨广、杨素的同盟更加坚固，而且也为他人所知晓。而皇帝最看不得的，就是底下的人结党营私，可能威胁到皇权。杨坚要想从根子上遏制杨素、杨广这一派势力，就要树立一派新力量与之抗衡，毕竟双轮车要比单轮车稳定得多。

　　在隋文帝杨坚的支持下，以柳述、元岩为代表的权贵势力迅速崛起。柳述是当朝驸马，杨坚的女婿，娶了杨坚最宠爱的五女儿兰陵公主。之前，晋王杨广希望兰陵公主许配给小舅子、晋王妃的弟弟萧玚。杨坚开始答应了，后来又改了主意。因为这件事情，杨广很讨厌柳述。柳述崛起后，两人的关系更加恶化。

　　柳述担任吏部尚书的时候，仗着特殊的身份、地位，较为骄横。杨素权倾天下，其他大臣都很怕他，但是柳述就不把杨素放在眼里，好几次在杨坚面前揭露杨素的短处。还有几回，柳述的公务处理得不合杨素的心意，杨素派人通知柳述改正，但柳述对来人说：“回去告诉杨素，就说我柳述不改。”不用说，杨素也很讨厌柳述。

　　杨坚提拔的另一个人是元岩，他被任命为黄门侍郎。黄门侍郎是皇帝的近侍官员，负责传递诏令，同时在隋朝又是门下省的副职，掌握中央决策的审批，是非常关键的职位。杨坚用柳述、元岩两个人，勉强可以和太子杨广、尚书左仆射杨素的势力相抗衡。在大臣之间保持力量均势，不让任何一方坐大，是中国古代典型的“帝王之术”。对此，杨广、杨素两个人十分不满，但也无可奈何。

　　此时的杨坚，在孤独皇后病逝后，压制了大半辈子的欲望和不满都宣泄了出来，开始纵情声色。他大规模扩充后宫的女眷，新设置了三名贵人，将嫔增加到九人，世妇增加到二十七人，御女增加到八十一人。此时的杨坚六十一岁了，年逾花甲，还整天阅尽美色。在众多的嫔妃中，杨坚最宠爱两个人，一个是陈氏，一个是蔡氏。杨坚封陈氏为“宣华夫人”，封蔡氏为“容华夫人”。容华夫人来自北方，风流娇媚，善解人意。宣华夫人则是陈朝的宫廷美女，肌肤润滑，温柔可人。在温柔乡中，杨坚每天都笑逐颜开，然而一旦出了后宫，他就表现得多疑暴戾，罢黜、外贬和杀戮了大批看不顺眼的官员。

　　杨坚越糊涂，对杨广就越信任。仁寿初年，杨坚命令太子杨广巡抚东南。杨坚去仁寿宫避暑的时候，都令杨广在大兴监国，代理朝政。

　　随着废立太子之事，宗室内部也不安稳。《隋书》认为杨勇在位日久，杨坚一朝废立太子，“开逆乱之源，长觊觎之望”。杨广取代大哥杨勇，当上了新太子，但是下面的几个弟弟心里就在想：“为什么我不能同样取代二哥，当上新太子呢？”

　　在隋文帝诸子中，三子秦王杨俊在开皇二十年（600）六月已经去世，年仅三十岁。杨广被立为太子后，能对他构成威胁的头号人物就是蜀王杨秀。杨秀为杨坚第四子，常年镇守四川地区。四川地势险要，加上杨秀经营多年，实力日渐壮大。他见大哥杨勇被废，二哥杨广当上了新太子，心中很不满。外人可能对杨勇、杨广两人不太了解，但是杨秀是他们的亲弟弟，他对两位哥哥的为人禀性是有大致准确的认识的。当杨广上位后，他便暗中招兵买马，有意要争夺太子之位。杨广察觉后，决定先下手为强，暗中勾结杨素，要栽赃陷害杨秀，置他于死地。

　　客观上，杨秀本身也劣迹斑斑。除了杨家兄弟“标配”的骄奢**逸外，杨秀还有许多问题。比如，杨秀建造浑天仪、司南车、记里鼓，穿戴皇帝的服饰，这些都属于僭越的行为；杨秀又和妃嫔出去打猎，以弹丸射人，还捉捕四川当地的居民，阉割后充当宦官。

　　杨素把这些问题报告给杨坚后，杨秀就没戏可唱了。仁寿二年（602）闰十月，杨秀被召回大兴。杨坚命令杨素等人审问杨秀。杨素和杨广一商量，杨秀的所作所为的确应该受罚，但离彻底打倒在地，在政治上难以翻身，还有一段距离。那怎么办呢？他们决定伪造证据，罗织罪名。

　　中国古代流行巫蛊厌胜之术，即利用人偶诅咒他人。杨广就偷偷做了一个木偶，上面写着隋文帝杨坚与汉王杨谅的名字，再缚手钉心，枷锁杻械，写上一段咒语：“请西岳慈父圣母神兵收杨坚、杨谅神魂，如此形状，勿令散**。”然后他暗中派人将木偶埋到华山脚下。接着杨素带人去把木偶挖出来，作为杨秀谋害杨坚和杨谅的证据。此外，杨广又以杨秀的名义伪造檄文，在文中称“逆臣贼子，专弄威柄，陛下唯守虚器，一无所知”。写好后，便模仿杨秀的笔迹抄写一遍，夹入从杨秀家里查抄出来的文集中。杨素根据这些证据，判定杨秀“谋逆”，报告给了隋文帝杨坚。杨坚既吃惊又失望：“天下竟有这样的不肖子！”当年十二月，杨坚废蜀王杨秀为庶人，幽禁于内侍省。

　　剩下来可能参与皇位竞争的，就只有皇五子——汉王杨谅了。开皇十七年（597）秋，汉王杨谅出任并州总管，杨坚亲自出宫饯送。南北朝以来，并州地位很重要，既是东西两方政权征战的主要地区，又是防御北方突厥人的前线，乃兵家要地。所以，隋朝在并州驻扎了重兵，赋予并州总管巨大权力。杨坚给杨谅划定的管辖范围，“自山以东，至于沧海，南拒黄河，五十二州尽隶焉”，而且“特许以便宜，不拘律令”。杨谅辖域之广，事权之重，势力在所有地方官中是最强的。但是，由于杨谅年纪尚小，出镇地方的时间也还短，所以没有和二哥杨广爆发冲突。杨谅只是借口防御突厥，修军整武，扩充兵马，意图进则争夺天下，退则割据一方。

　　这一切都表明，隋朝的政治局势并没有因为立杨广为新太子而平静，各种矛盾日趋复杂。