憲宗聽說，頓時大怒，說道：「吳元慶，你這到底是誇朕還是在罵朕？你既說朕是明君聖主，卻又說朕近小人遠賢臣，那麼朕又成了昏庸之主了？」
吳元慶朗聲道：「不敢。明主與昏君，其間分界本就只在一線之間，本朝玄宗皇帝，前期乃是千古明君，國家社稷安定，民富兵強，後期卻造成安史之亂，國家混亂衰弱，人民困不聊生，便是最好的例子。」
憲宗怒極反笑，說道：「好，那你說說，玄宗之政，為何先理而後亂？」
吳元慶道：「玄宗用姚崇、宋璟、盧懷慎、蘇、韓休、張九齡則理，用宇文融、李林甫、楊國忠則亂。故用人得失，所繫非輕。人皆以天寶十四年安祿山反為亂之始，臣獨以為開元二十四年罷張九齡相，專任李林甫，才是理亂之所分處。願陛下以開元初為法，以天寶末為戒，乃社稷無疆之福！」
憲宗道：「那你說我現在是在任用張九齡呢還是在任用李林甫？」
吳元慶見皇上臉上陰沉之色一晃而過，知道他已然怒極，但仍說道：「皇上任用裴大人、崔大人這等重臣，是任用張九齡，但皇上同時又任用皇甫鎛、程異之徒，卻又是任用李林甫、楊國忠了。」
李純忽然拍案而起，喝道：「大膽吳元慶，你是說朕也要似玄宗一般，由聖明而變昏庸了嗎？」
吳元慶臉不變色，說道：「微臣不敢，微臣乃是進諫，希望陛下以玄宗前車為鑒。」
李純一把掀掉了身前几案，幾上茶水、碗碟飛落一地，光光啷啷響過不停，眾臣只驚得魂飛魄散。只見李純臉上變色，喝道：「朕若昏庸，只因朕不該用你這樣的臣子，你且說說，你是張九齡呢還是李林甫？」
吳元慶道：「臣不過是個山野匹夫，得皇上青眼，其實不過尸位素餐而已。好不敢比張九齡，壞亦不敢比李林甫！請皇上容臣辭官歸隱。」
李純大怒道：「吳元慶，你這是跟朕賭氣麼？朕若不容你辭呢？」
吳元慶道：「臣心意已決，請皇上成全。」
裴度見憲宗臉上戾色越來越重，知道吳元慶轉眼之間便有殺身之禍，忙道：「皇上，今天乃是賀慶太平的好日子，還請皇上息怒。」
李純怒道：「太平，太平，你們讓朕太平了嗎？吳元慶，朕數次饒你，你真以為朕就殺不得你嗎？」
吳元慶不語，李純見了，更是惱怒。
裴度道：「皇上，吳元慶生就這樣的性格，但他武功高強，富於謀略，實是國家的棟材，平淮西，定吐番，屢建奇功，就連這次平定淄青，他的功勞也是最大。」
李純怒道：「胡說八道！這次平定淄青，朕根本就沒派他去，他的功勞又從何處建來？你為了救他，竟撒這彌天大謊，裴度，你可知此乃欺君大罪？」
吳元慶見往日憲宗總是叫裴度為裴愛卿，此時直呼其名，顯然連裴度也惱上了。
裴度道：「皇上，臣並不敢欺君，陛下知道為什麼劉悟會反戈一擊嗎？此正是吳元慶的功勞。」遂詳細述說了吳元慶怎樣刺殺李師道，怎樣架禍給劉悟，又怎樣扇動劉悟造反，憲宗李純聽了，不禁怔住，但只是一瞬間之事，他忽然冷笑道：「哼，這正是他自行其事、目無君長的寫照，誰叫他去淄青了？堂堂朝廷將軍，豈能擅自主張，私自行動？」
吳元慶心中冷笑，心想古來帝王便是如此，鳥盡弓藏，兔死狗烹，又還有什麼好說的？他倒要看看，李純到底給他安個什麼罪名。所以只冷冷的看著這一切，並不說話。
裴度卻忍不住了，說道：「皇上，這樣說吳元慶似乎不太公平，不管如何，他都是立了大功，有功於國，有功於民。」
李純冷笑道：「有功就怎麼了？有功就可以屢次抗旨，把朕都不放在眼裡嗎？古來帝皇，誰沒有幾個立有大功的臣子？若是他立有郭子儀那般大的功勞卻又如何？就是朕的臣子中也未必他立的功勞就最大，你裴度、李愬、李光顏、田弘正誰又沒有立大功？若誰都似他一般不把朕放在眼裡，朕這皇上還當不當？」
裴度見這話不像，忙一把跪下，說道：「皇上。」
崔群見吳元慶為了自己惹得皇上震怒，也忙跪下，說道：「陛下……」
李純不等他說話，怒道：「不用再說了。你們自恃功勞，一個個不把朕放在眼裡，哼哼，朕今日也不與你們計較，放心，朕並不是隨便殺人的昏君！傳旨：門下侍郎、同平章事裴度，中書侍郎、同平章事崔群，左金吾衛大將軍吳元慶三人，朋比為黨，為獵取正直之名，不惜彰君父之過，此種臣子，若不加責罰，朝廷法令何在？著即令裴度為河東節度使，仍充門下侍郎、同平章事銜；崔群貶為湖南觀察使，即日赴任；吳元慶免去左金吾衛將軍銜，貶為庶人，不許隨便出京。欽此。」
眾臣面面相覷，想不到皇上竟會如此震怒，處罰如此之重，裴度一時尚有些措手不及。吳元慶的處罰雖然最重，但他卻似乎全然無所謂。其實心中的憤怒也是無以言宣，他並不在乎什麼官銜，也不在乎什麼庶人不庶人的，只是心中一股氣不平，好不容易才克制住了心中的怒火，讓臉上似什麼事也沒發生一樣。
三人磕頭謝恩畢，宴席也即散場，一場喜慶便如此煙消雲散。
吳元慶回到家，林潔遠遠的接了出來，只見府門口許多身份不明的人在那游戈，林潔道：「不知為什麼，今天忽然來了這些人，倒好似在監視咱們似的。」
吳元慶心中冷笑，心想你不許我走，我偏要走，就憑這些膿胞就能監視得住我了？只是想著自己為朝廷南征北戰，沒有功勞也有苦勞，不但沒有陞官封侯，卻落得像賊一般，連自由都沒有，豈不滑稽？心中憤怒，但想一想，氣也就平了，古來帝王便是如此，只可共患難，不能同歡樂，古之英雄名將尚且如此，自己又算得了什麼？但自己決不做那愚忠愚孝的蠢人，選個時機，一走了之，從此書劍飄零，嘯傲江湖，豈不快哉？
兩人回到家，便去拜見父母，吳元慶把朝中發生的事說了，吳夫人道：「俗話說伴君如伴虎，孩兒，咱們並不貪圖什麼富貴，不做官更好。」
林回風道：「不錯，我在這住得早就不耐煩了，既是如此，咱們就一走了之。仍回咱們的桃花源去，那裡可不快樂多了？」
林潔道：「現在只怕要走也不容易了。」
林回風道：「區區幾個監視算得了什麼？咱們衝出去便了。」
吳元慶沉吟道：「要走也不急在一時，咱們先作好準備，等時機成熟再走不遲。」
正說著話，便有恩王府來人相請吳元慶，吳元慶詫異道：「恩王請我去幹什麼？」心想已經很久沒有與恩王見面了。
來到恩王府中，吳元慶又想起李紅英來，心中深覺愧疚，恩王李晌在書房中接見他，見面便笑道：「吳將軍，你飛黃騰達了之後，怎麼就絕足不到本王府中來了？難道恩王府是什麼險地禁區嗎？」
吳元慶道：「王爺這話讓小子怎麼禁受得起？小子不過一山野匹夫，王爺錯愛，其實不敢當。不知王爺召在下來，有什麼事嗎？」
李晌笑道：「你我自己人，久不相見，不過叫你來敘敘舊而已。李愬如今在軍中，元慶什麼時候見過他了？」他改口叫元慶，果然便似自己人般親切。
吳元慶道：「我也好久沒見到李大哥了，他在軍中，輕易也不上京來。」
李晌點點頭，又不著邊際的問這問那，眼看時間已經到了深夜，忽然走進兩個人來，吳元慶抬頭一望，吃了一驚，見這二人一個是權頃天下的宦官、神策軍中尉吐突承璀，一個卻是當今皇上之子、澧王李惲。吳元慶心中隱隱不安，知道只怕有個極大的陰謀把自己捲了進來。