上宰相這樣的高官。但是，由於他接人待物態度太高傲、簡慢，從不與任何人說好話周旋。
他穿用的衣服、乘坐的車馬，都特別奢侈豪華。在他身邊，經常有幾十個僮僕太監服侍他。
有時候，他在家裡坐在書案旁邊，用手拄著臉腮一句話不說，一坐就是一天。至於他吃的飯菜，尤其講究，必須弄得特別精細、潔淨，用鳥羽挑選米。每吃完一頓飯，你去看看他家廚房裡所扔掉的菜餚食物，何止價值萬錢呢。如果在公卿同僚家聚宴，雖然山珍海味俱全，韋陟也不動筷。韋陟讓他的侍婢負責他的信函。往來的信函、奏章，他從不親自書寫，而是授意給他的侍婢代擬代書。他的侍婢代擬的這些信函、奏章，措詞的分寸正好符合他的心意。
而且書寫的字型遒勁流利，都非常符合楷書的規範。韋陟只簽署個名氏而已。他常常自己誇讚他簽署的“陟”字，宛若五朵雲彩。當時，有許多人都效仿他的這種簽署方式，被人稱為“郇公五雲體”。韋陟常年使用五彩紙為信箋。他的日常生活用度的奢華程度，都象這樣啊！但是，韋陟的治家法規非常嚴整。他的兒子韋允學習經史，每天他都加以教誨訓勵。就是在夜間，也常派人去察看。如果韋允學習很用功，不停頓，則在早、晚向父母問安時，都和顏悅色；如果他稍有懈怠，就立即派人去制止。命令韋允站立在廳堂下，或者十天之內不跟兒子說一句話。韋陟雖然有家僮幾十人，但是凡是到他家來的賓客，必定讓他的兒子韋允接待，迎送。不論寒暑都沒有停止這樣做過。這種禮儀，很是受到當時人的稱讚。然而，韋陟竟然因為他高傲恃才，常常為那些有權有勢的人所忌恨。
蕓輝堂
元載造蕓輝堂於私第。蕓輝香草名也，出於闐國，其香潔白如玉。入土不朽爛，舂之為屑，以塗其壁，故號蕓輝。而更以沉香為樑棟，金銀為戶牖。內設懸黎屏風紫綃帳，其屏風本楊國忠之寶也。其上刻前代美女妓樂之形，外以玳瑁水晶為押，絡飾以真珠瑟瑟。精巧之妙，殆非人工所及。紫綃帳得於南海溪洞之帥首，即絞綃類也。輕疏而薄，如無所礙。雖當時凝寒，風不能入；盛夏則清涼自至。其色隱隱，或不知其帳也，謂載臥內有紫氣。其餘服玩奢僭，率皆擬於帝王家。蕓輝堂前有池，以文石砌其岸。中有蘋陽花，亦類於白蘋，其花紅而且大，如有牡丹。更有碧芙蓉，香潔萏菡，偉於常者。載因暇日，憑欄以觀。忽聞歌聲清亮，若十四五女子唱焉，其曲則《玉樹後庭花》也。載驚異，莫知所在。及審聽之，乃芙蓉中也。俯而視之，聞喘息之音。載大惡，遂剖其花，一無所見。因秘不令人說。及載受戮，而逸奴為平廬軍卒，人故得其實。載龍髯拂，紫色如爛椹。可長三尺，削水晶以為柄，刻紅玉以為環鈕。或風雨晦暝，臨流沾溼，則光彩動搖，奮然如怒。置之於堂中，夜則蚊蚋不能近；拂之為聲，則雞犬牛馬無不驚逸；若垂之於池潭；則鱗甲之屬，悉俯伏而至；引水於空中，即成瀑布長三五尺，而未嘗輒斷；燒燕肉薰之，則焪焪焉若生雲霧。厥後上知其異，載不得已而進內。載自雲，得之於洞庭道士張知和。（出《杜陽編》）
元載在自己的宅院裡建造了一座蕓輝堂。蕓輝，是一種香草的名字，產在於闐國。它質地象玉一樣潔白，摻入土裡不腐爛。將它舂成碎屑，用來塗飾牆壁。因此，叫蕓輝堂。這座殿堂還用沉香木做屋樑，用金銀做窗戶。殿堂內裝有美玉製的屏風，紫色的綃帳。這付屏風本是當年宰相楊國忠心愛的至寶，上面雕刻著前朝美女妓樂圖，另外用水晶作壓簾的飾具，還用碧色寶石串成串作裝飾。它製作的精緻巧妙，完全是人工所不能達到的。紫綃帳是從南海溪洞的酋長那兒得到的，是用絞綃一類織物製作的。既輕疏又非常的薄，掛在那邊就象什麼也沒掛一樣。雖然在天寒地凍的時節，風也吹不進帳子裡面；就是在盛夏酷暑，帳子裡自然清涼。它的顏色隱隱約約的，讓你都看不出來掛有帳子，都說元載的臥室裡有紫氣呢。其餘的，如服飾、古玩、用具，也都特別的奢華，都效仿帝王之家的排場。元載還在蕓輝堂前修造了一座水池，用瑪瑙和帶紋理的石頭壘砌池塘的堤岸。池中植有蘋陽花，象白蘋一類，它開的花紅而大，象牡丹。還植有碧芙蓉，香潔萏萏，都比一般的芙蓉、荷花長得高大壯偉。一天閒暇時，元載依著欄杆觀賞池中的花草。忽然聽到清亮的歌聲，象十四五歲的少女唱的，唱的歌曲是《玉樹後庭花》。元載非常驚異，不知道這歌聲來自哪裡。待仔細審聽辨識，乃是從池中芙蓉裡發出來的。他俯身察看，聽到有喘氣的聲音。元載非常疑忌這件事，立即將芙蓉花剖開看，什麼也沒有見到。