因為趙家被皇帝逼得走投無路心灰意冷，在年前就大病了一場，一頭黑髮幾日之內盡皆變白，身體大不如前，在趙太后過世後，他更是顯出蒼然老態，無法過問事情。趙家的幾位庶子，老大已經戰死，老二卻要庸碌很多，現如今趙家能夠頂起家中樑柱的只有趙致禮，後面幾位弟弟，除了老五稍稍好些，其他兩個便也是庸碌得很，根本不堪用。趙致禮知道自己身負的職責不小，因海防和打擊海寇的方案是季衡所提出，所以在南下之前，他又和季衡見了一面。因為皇帝有一隊在民間的暗衛，趙致禮知道皇帝有耳目，所以也並不偷偷摸摸見季衡，而是到了季府去，直接登門拜訪。季衡已經在翰林院做修撰，雖然他有著一張惹人遐想的臉，但是作風卻是十分端正，為人嚴肅卻不死板，學識淵博，性情卻平和，並沒有文人喜好和人辯論和爭執的習慣，故而是特別討人喜歡的。到了翰林院，雖有板正的老臣最初對他多有偏見，但是不過短短時日，便對他另眼相看了，其中的其他修撰編修們，和他也是相處得極好，和他有矛盾的，則是找不出幾個來，雖然這與他是次輔長公子又是皇帝伴讀又是這一科狀元有關，但也由此可見他處事的圓融。趙致禮到季府時，季衡沒在自己的屋裡，而是在前院他之前和許七郎讀書的書房裡，因季衡出仕為官了，以後會接待客人和商量事務，所以季大人就讓人將用作讀書的這邊這個院子收拾整理出來讓季衡做了待客的書房院子，而瓔哥兒學習的地方，則是在他的西跨院裡另闢了一間作為書房，並且另設了一道門，供夫子進出給瓔哥兒上課。僕人對趙致禮說，&ldo;趙大人，這邊請，大少爺在他的書房裡呢。&rdo;趙致禮跟著僕人過去，問道，&ldo;君卿的書房搬了嗎。&rdo;季衡的書房並沒有搬，他還是喜歡在原來的屋子裡做學問，只是處理公務之類是在前院書房罷了。僕人則是很懂規矩的，絕對不會將家裡的事情亂講，於是就說，&ldo;大公子現在是在前院書房裡。&rdo;趙致禮點點頭，並不再問。季衡正在書房裡和張先生說話，張先生說季衡道，&ldo;據聞皇上多次宣你入宮侍講，你為何都推脫不去，其中可有什麼隱情？&rdo;張先生的話裡帶著些微責備，因為即使是在皇帝跟前恃寵而驕，也該有個限度。季衡自從上次被皇帝傷害，他怎麼會不恨不怒，只是將一切都壓在心底而已，痛苦於他，他並不願意多想，因為多想也沒有任何用處，但是，即使不想，在潛意識裡的痛苦憤怒其實並不能得到宣洩，他並不願意看到皇帝，看到皇帝，無論他面上做得多麼平靜平和，心裡都並不會如面上那般平靜無波，所以，除了上一次皇帝來為他探病，他就從此拒絕和皇帝見面了。皇帝多次傳召他入宮，他都抗旨不遵了，甚至是在翰林院，皇帝傳他進宮做侍講，這本該是他的本職工作，他也以自己剛入翰林院並不能承擔此重任將事情推掉了。他如此般，皇帝是完全拿他沒辦法的，而皇帝也明白，季衡對他在明面上是一派平和不吵不鬧，但是心裡卻是存了芥蒂，劃開了溝壑。皇帝因此很介意，卻是沒有後悔當初的所為的。但是他也知道要承擔後果，所以就是給季家的賞賜不斷，幾乎是每旬都得給賞點東西，也並不是多麼名貴的，有時甚至只是時鮮水果，他也知道這些自然是不能打動季衡，好在是能夠讓他自己心裡舒坦點，而季衡拒絕入宮見他，他則是不能拿季衡怎麼辦的。皇帝對此無能為力，同在翰林院的翰林們，則是幾次三番地看到季衡推脫不入宮侍講了，這雖然給別人提供了面聖的機會，卻也會給季衡招惹些閒話。於是季大人自然就知道了季衡總是抗旨不遵的事情。但現在季大人卻不好自己親自勸說季衡了，甚至是說都不好在季衡面前說這件事，於是就在張先生跟前提了兩句，張先生思來想去，覺得還是勸一勸季衡為好。