獨孤後雖欲將晉王立為太子，但楊堅因一時太子楊勇沒有犯大的過錯，心中雖欲立晉王，卻不好實行。這時晉王楊廣調鎮揚州，不到半年便表請入覲。楊廣回朝後，表現得慎言莊容，端肅安詳。他對於一般朝臣格外謙和，恭而有禮。宮廷內外，都同聲説他的好。
到了辭行還鎮的那天，楊廣入宮別母，見了獨孤皇后，他依在獨孤後的膝下，泣訴道：“臣兒生性愚蠢，向來不知忌諱，時常懷念雙親，所以未及二旬，遞即上表請朝。原思一見父皇與母后，藉聆慈訓，哪知觸忌了長兄。”
獨孤後聽到楊廣提及太子楊勇，便問：“他敢怎麼樣？”楊廣惶恐説：“他竟疑忌臣兒，謂兒覬覦名器，意欲加害，臣兒因此惶恐。臣兒遠列外藩，東宮日侍左右，讒惑見加，皇父容或難辨。一旦賜臣尺帛或給杯鴆，臣兒實不知身死何所。恐從此一別，便不能再見慈顏了。”晉王説着便涕淚縱橫，嗚咽不止。
獨孤後憤然道：“我為他娶元氏女，竟不以夫婦禮待之，元氏女向來身體健全，竟會一旦暴亡，他卻毫不悲傷，反與妖姬雲氏淫樂。我也疑惑元氏被他所害，只是暫時容忍。現在他卻越發狂妄！竟想加害你，我活着他已是如此，往後真不堪設想了。”獨孤後説着已泫然泣下。
楊廣佯作勸慰：“臣兒自是不肖，未能感化長兄，反使母后因此傷感，豈不是增臣兒罪戾！”獨孤後安慰一番，叫他安心回去，非密詔不可進京;不得輕過東宮。晉王心中暗喜，從此獨孤後廢楊勇的心腸更堅決了。
積毀成山，三人成虎。楊素與獨孤後異口同聲地説太子失德，內外交讒，楊堅便動了廢立的主意。宮廷內外，都知了廢立的消息，傳到東宮，楊勇才開始着慌。他引入巫覡，做了種種厭禳術。這個消息，又被人探聽了去，報告了獨孤皇后，當晚楊堅也知道了，命楊素到東宮探看虛實。
楊素本是楊廣的人，他到了東宮，楊勇慌忙更換好了衣冠。哪知楊素故意東看一回花草，西看一回亭台，只是挨延不去。
楊勇等候了多時，不禁着惱起來，待到楊素徐行入見，楊勇怒形於色説：“公姍姍來遲，究屬何意？聖上雖欲將我廢立，此時究竟尚未實行，你莫自恃功高，便不把我放在眼裏。”楊素佯作失驚道：“老臣該死，進了園中，一因年邁，腳步遲了些;二因貪看了園中景色，因此有勞殿下久候。還念老朽可憐，恕罪一遭。”
楊勇冷笑：“説得倒好，你來此做什麼？”楊素又假意微歎説：“聖上不知聽信了誰的讒言，意欲廢立東宮。老臣素知殿下，仁德無虧，今日特來安慰殿下的。”楊勇聽了，以為楊素真心好意，不免言語之中，露出怨憤。
楊素聽在耳中，回到宮裏，見了楊堅，便一一説了出來。楊堅大怒，便在成德殿上，召集了百官宣詔廢楊勇。過了數日，即立晉王楊廣為太子。
