在自己府前遲疑不定，還以為允文有什麼與自家老爺有關的大事，這時見他要走以為他改變了主意，急忙上前行禮將允文擋住。 允文此時再想躲避卻已來不及，只得尷尬笑道：“本來是想來找杜公，不過剛才想來只怕太晚杜公已睡了，我這就不打擾了，告辭，告辭。 ”說罷就要轉身離開。
那管事卻道：“王爺慢走，小人已經命人稟告了老爺，馬上就出來迎接王爺了。 ”
“不用，不用，我現在就回去了。 ”允文急忙道。 正在這時杜如晦卻已經出來，見到允文，連忙上前行禮道：“見過殿下。 ”接著道：“此處不是說話的地方，請殿下進寒舍小坐。 ”
其時杜如晦為尚書右僕射，官居極品，封蔡國公，當朝中只在衛國公、太尉李靖與梁國公、尚書令房玄齡之下，與內史令、光祿大夫、鄭國公魏徵、尚書左僕射、江國公陳叔達等人並列。
允文見既無可避，若硬要待在這街上也是不妥。 無奈道：“那杜公請。 ”杜如晦道：“殿下請。 ”
兩人讓到府裡大廳，有下人上茶，兩人坐定，都是稍稍抿了一口，杜如晦輕笑道：“不知殿下來找我有何貴幹？” 眼睛卻掃了眼暫時被允文放在一邊桌上的那柄輕羅小扇。
“杜公太客氣了。 ”允文心中暗道一聲誰想來找你了？面上卻也輕笑道：“我只是前來拜望一下杜公，剛才在門口猶豫半晌，怕天色太晚打擾了杜公。 ”
“殿下說地哪裡話。 ”杜如晦哈哈大笑。 兩人又說了半天話，也沒談到什麼實際的東西。 杜如晦眉頭輕皺，又將眼睛回到那柄輕羅小扇，似乎不經意道：“殿下，你這柄扇子倒甚是別緻，不知是哪位佳人所贈啊？”
雖然早有準備，允文心裡還是一驚，連忙急聲道：“杜公不要誤會。 我這也是偶然所得，並非杜公