上令持節使者巡行州縣，察長吏能不，以彥謙為天下第一，超授鄀州司馬。吏民號哭相謂曰：“房明府今去，吾屬何用生為！”其後百姓思之，立碑頌德。鄀州久無刺史，州務皆歸彥謙，名有異政。
內史侍郎薛道衡，一代文宗，位望清顯，所與交結，皆海內名賢。重彥謙為人，深加友敬，及兼襄州總管，辭翰往來，交錯道路。煬帝嗣位，道衡轉牧番州，路經彥謙所，留連數日，屑涕而別。黃門侍郎張衡，亦與彥謙相善。於時帝營東都，窮極侈麗，天下失望。又漢王構逆，罹罪者多，彥謙見衡當途而不能匡救，以書諭之曰：
竊聞賞者所以勸善，刑者所以懲惡，故疏賤之人，有善必賞，尊貴之戚，犯惡必刑，未有罰則避親，賞則遺賤者也。今諸州刺史，受委宰牧，善惡之間，上達本朝，懾憚憲章，不敢怠慢。國家祗承靈命，作民父母，刑賞曲直，升聞於天，夤畏照臨，亦宜謹肅。故文王雲：“我其夙夜，畏天之威。”以此而論，雖州國有殊，高下懸邈，然憂民慎法，其理一也。至如幷州畔逆，須有甄明。若楊諒實以詔命不通，慮宗社危逼，徵兵聚眾，非為幹紀，則當原其本情，議其刑罰，上副聖主友于之意，下曉愚民疑惑之心；若審知內外無虞，嗣後纂統，而好亂樂禍，妄有覬覦，則管、蔡之誅，當在於諒，同惡相濟，無所逃罪，梟懸孥戮，國有常刑。其間乃有情非協同，力不自固，或被擁逼，淪陷兇威，遂使籍沒流移，恐為冤濫。恢恢天網，豈其然乎？罪疑從輕，斯義安在？昔叔向置鬻獄之死，晉國所嘉，釋之斷犯蹕之刑，漢文稱善。羊舌寧不愛弟，廷尉非苟違君，但以執法無私，不容輕重。且聖人大寶，是曰神器，苟非天命，不可妄得。故蚩尤、項籍之驍勇，伊尹、霍光之權勢，李老、孔丘之才智，呂望、孫武之兵術，吳、楚連磐石之據，產、祿承母后之基，不應歷運之兆，終無帝王之位。況乎蕞爾一隅，蜂扇蟻聚，楊諒之愚鄙，群小之兇慝，而欲憑陵畿甸，覬倖非望者哉！開闢以降，書契雲及，帝皇之跡，可得而詳。自非積德累仁，豐功厚利，孰能道洽幽顯，義感靈祇！是以古之哲王，昧旦丕顯，履冰在唸，御朽競懷。逮叔世驕荒，曾無戒懼，肆於民上，聘嗜奔欲，不可具載，請略陳之。
襄者齊、陳二國，並居大位，自謂與天地合德，日月齊明，罔念憂虞，不恤刑政。近臣懷寵，稱善而隱惡，史官曲筆，掩瑕而錄美。是以民庶呼嗟，終閉塞於視聽，公卿虛譽，日敷陳於左右。法網嚴密，刑辟日多，徭役煩興，老幼疲苦。昔鄭有子產，齊有晏嬰，楚有叔敖，晉有士會。凡此小國，尚足名臣，齊、陳之疆，豈無良佐？但以執政壅蔽，懷私徇軀，忘國憂家，外同內忌。設有正直之士，才堪幹持，於己非宜，即加擯壓；倘遇諂佞之輩，行多穢匿，於我有益，遂蒙薦舉。以此求賢，何從而至！夫賢材者，非尚膂力，豈系文華，唯須正身負載，確乎不動。譬棟之處屋，如骨之在身，所謂棟樑骨鯁之材也。齊、陳不任骨鯁，信近讒諛，天高聽卑，監其淫僻，故總收神器，歸我大隋。向使二國祗敬上玄，惠恤鰥寡，委任方直，斥遠浮華，卑菲為心，惻隱為務，河朔強富，江湖險隔，各保其業，民不思亂，泰山之固，弗可動也。然而寢臥積薪，宴安鴆毒，遂使禾黍生廟，霧露沾衣，弔影撫心，何嗟及矣！故詩云：“殷之未喪師，克配上帝。宜鑑於殷，駿命不易。”萬機之事，何者不須熟慮哉！
伏惟皇帝望雲就日，仁孝夙彰，錫社分珪，大成規矩。及總統淮海，盛德日新，當璧之符，遐邇僉屬。贊歷甫爾，寬仁已布，率土蒼生，翹足而喜。幷州之亂，變起倉卒，職由楊諒詭惑，詿誤吏民，非有構怨本朝，棄德從賊者也。而有司將帥，稱其願反，非止誣陷良善，亦恐大點皇猷。足下宿當重寄，早預心膂，粵自籓邸，柱石見知。方當書名竹帛，傳芳萬古，稷、契、伊、呂，彼獨何人？既屬明時，須存謇諤，立當世之大誡，作將來之憲範。豈容曲順人主，以愛虧刑，又使脅從之徒，橫貽罪譴？忝蒙眷遇，輒寫微誠，野人愚瞽，不知忌諱。
衡得書嘆息，而不敢奏聞。
彥謙知王綱不振，遂去官隱居不仕，將結構蒙山之下，以求其志。會置司隸官，盛選天下知名之士。朝廷以彥謙公方宿著，時望所歸，徵授司隸刺史。彥謙亦慨然有澄清天下之志，凡所薦舉，皆人倫表式。其有彈射，當之者曾無怨言。司隸別駕劉灹，陵上侮下，訐以為直，刺史憚之，皆為之拜。唯彥謙執志不撓，亢禮長揖，有識嘉之。
灹亦不敢為恨。大業九年，從駕渡遼，監扶余道軍。其後隋政漸亂，朝廷靡然，莫不變節。彥謙直道守常，介然孤立，