縟節的生活，另由於葉公超本人長期在海外奔波，生活漂泊不定，不能赴美與妻相伴，因而倆人分居近四十年，夫人只在*回臺一天，參加完酒會就遠走高飛，雙方互不提對方。對感情豐富的葉公超來說，內心自然倍感寂寞與痛苦。一些妙齡女郎，見到這位文采*的世家子弟，既具文學家修養又具藝術家氣質，兼外交家風度，因而難免為其丰儀所傾倒。這樣便有葉公超的不少*佳話。陳香梅在一篇文章中曾說：雙橡園主人的風采，使華盛頓的上流社會，既尊敬又願意親近他。“多少雙纖手為你磨墨、添香，多少顆心曾為你似醉非醉。生命裡的春天，任你陶醉。”葉公超在臺大和師大兼任教授時，當他講到“秋天落葉落地的聲音”，眉飛色舞並配以美妙的手勢，這使崇拜他的女生向“葉老師”爭取一席紅粉知己的地位。當然，這“紅粉知己”也可作廣義解釋：如在葉公超揮毫作畫時為其研墨，或陪“葉老師”在臺北中山堂聽《玉堂春》京劇。據說葉公超的“紅粉知己”有四位，其中有一位“紅袖添香”者在葉的葬禮上還低聲哭泣。正如臺灣黃湜所說：“葉先生不比常人，因聲名過大，溫泉試浴既不可能，新潮理髮又不能有，即使有紅粉知己添香伴讀亦不為過。”又據陳曉筠說，葉公超做“外長”時居臺北羅斯福路，有一名義上的表妹，外交界同仁呼其為“文姬”。葉後來赴美任“大使”，“文姬”未隨赴任所，正式嫁給一卸任“大使”許先生。當時有人做打油詩半首曰“文姬重歸漢，許郎又成仙”，成為一時佳話。尤其是美國主管遠東事務的助理國務卿勞勃森的夫人瑪麗，對“喬治葉”漂亮的英文書法愛不釋手，無端也要寫信給他，並對葉用英文愛稱而不呼其名，其親密程度可想而知。本來，能愛與被愛，生命就如花朵之怒放，才高且氣雄豪者被海內外佳人賞識並非不道德事。所不同的是，葉公超奉命返臺不許返任後，不但不被准許出臺，連教書也被禁止，昔日好友部屬多不敢探望。在客況蕭條、人情冷暖且無家室之樂的情況下，他在臺北住博愛賓館時感到異常苦悶，曾要國民黨在島外辦的《香港時報》的採訪副主任於蘅打聽認不認識以媒介*為業的名女人何秀子，以替他找個高階*到臺北附近的新店市碧潭去泛舟。當於蘅在悼念葉公超的文章中披露此段未果的秘聞時，有人又打電話又寫文章罵於蘅破壞了葉公超的形象。於答辯說，葉公超“是不拘小節的人，我寫何秀子一段，正足以襯托出葉先生的豪放、率真超乎常人。我之所以這樣寫，只在描繪出葉先生做人的誠懇、真實。唯誠與真，才能不朽”。
葉公超（7）
葉公超在1981年11月20日發表在《聯合報》上的《病中瑣憶》中說：“回想這一生，竟覺自己是悲劇的主角。一輩子脾氣大，吃的也是這個虧，卻改不過來，總忍不住在發脾氣。有一天做物理治療時遇見張嶽公，他講：‘六十而耳順，就是凡事要聽話。’心中不免感慨。”
正因為他的心情欠佳，身體竟一天天消瘦下來，眉宇間有一股無法描述的蕭索之情，與當年陪同美軍顧問團在花蓮圍獵山豬，在射擊場與美軍展開競賽時的豪情逸興判若兩人，故梁實秋這樣形容葉公超的餘年：“情況相當落寞。”落寞的葉公超是不進教堂的老基督徒。他認為信仰宗教可給人一點悔過、安慰和寄託，另還可勉勸人們為善多做好事。除做好事外，葉公超利用自己鑑賞文物的才能賣點古玩，還出售他的墨寶、蘭竹。為了把生意做大，他希望在新加坡舉行畫展，託人請南洋著名僑領、新加坡膠業鉅子李光前剪綵。李光前系左派人士，可葉公超為了賣畫餬口，也顧不上這些了。李光前鑑於自己的政治立場，託詞不擔任剪綵人，但答應由前來說項的趙世洵代他挑一張售價最貴的竹子由其買下了事。
葉公超時而執教，時而執筆，時而從黨，時而從政，時而主持僑務，時而主持外交，時而服務國內，時而奔波海外，終於勞累過度，於1981年11月20日因心臟病復發在臺北榮民總醫院安息，享年七十八歲。他去世後，治喪委員會在《葉資政公超先生事略》纂述其生平時，隻字不提他被蔣介石罷官一事，僅輕描淡寫敘述他於1961年奉召回後出任“行政院政務委員”。由於官方對他評價不公，所以臺灣暨海外不斷有他的親友、同僚、弟子發表充滿感情的悼念文章，這些文章寫盡葉公超平生為人，包括其功勳事業、文藝修養、千秋風骨，兼及紅顏知己，由著名史料專家秦賢次編輯為《葉公超其人其文其事》，由臺北傳記文學出版社於1983年6月15日出版。這本書的許多作者，用聰識通明、坦率真誠、*儒雅、藝文驚世、清高絕欲、狷介耿直、傲