林語堂每寫完一部作品，給自己放一兩個月的假，也曾到拉斯維加斯去賭一把。他好輪盤賭，但並不著迷，把口袋裡的錢輸光，他便安心離去，回家繼續工作。
林語堂喜歡釣魚，在美國時，他會乘坐專供釣魚的輪船，出海釣魚，每次都滿載而歸。他說，垂釣歸來，把竹簍子交給太太，看她把魚放進冰箱或是分送給鄰居，是一件快活的事。到臺灣後，他不再釣魚，而是在屋前的游泳池裡養了一群魚，從此便常在池旁餵魚、觀魚。
黎至怡回憶，林語堂喜歡擺弄釣具和人工做的魚餌，例如假蒼蠅，他對製造這種魚餌的技術佩服不已，有時，也自己給魚餌改良，用的是廖翠鳳的指甲油，給每隻假蒼蠅都添上笑容。
晚年，林語堂歷時5年改良他的“國語羅馬字拼音法”，由香港中文大學出版《林語堂當代漢英詞典》，其中採用的“上下形減字法”，在臺灣獲得發明專利。
【婚戀】
林語堂的初戀是一個叫“橄欖”的女孩。“橄欖”是山裡的女子，其母是林語堂母親的教女。
在八十自述中，林語堂回憶：“我記得她蹲在小溪裡等著蝴蝶落在她的頭髮上，然後輕輕地走開，居然不會把蝴蝶驚走。”
兒時他們常在山間一起玩，林語堂曾用《聖經》上的一句話形容過橄欖赤足的樣子：“她的腳在群山間，是多麼美麗！”
由於林語堂想出國留學，而橄欖要照顧雙目失明的祖父，不能離開家鄉，所以他們分手了。但他從未忘記橄欖，而橄欖赤足奔跑在草地上的情景成了林永不能割捨的“情結”，他曾專門寫《論赤足之美》，他說：“要是問我赤足好，革履好，我無疑地說，在熱地，赤足好。……赤足是天所賦予的，革履是人工的，人工何可與造物媲美？赤足之快活靈便，童年時快樂自由，大家忘記了吧！步伐輕快，跳動自如，怎樣好的輕軟皮鞋都辦不到，比不上。至於無聲無臭，更不必說。”
在聖約翰大學上學時，林語堂和廈門的陳希佐、陳希慶兄弟交好。也由此認識了他心儀的第二位女子，陳氏兄弟的妹妹陳錦端。陳錦端的父親陳天恩早年追隨孫中山，是廈門數一數二的鉅富。林語堂對陳錦端一見鍾情，而陳錦端也心儀林語堂，二人很快墜入愛河。放暑假時，二人回到了各自的家中。林語堂思念心上人，幾次跑到廈門，藉口探望陳氏兄弟。林語堂在《八十自述》中說：“我從聖約翰回廈門，總在我好友的家逗留，因為我熱愛我好友的妹妹。”
林語堂經常造訪陳家，陳天恩早看出來林的來意是為其長女。陳天恩是虔誠的基督教徒，他認為林雖然聰明，但對基督教不夠虔誠，家庭出身也不好，愛女不能託付給他。陳天恩對陳錦端表明態度，迫使她同意再也不見林語堂。於是每次林來訪，陳錦端都躲在房間裡，不肯出來。
一次，陳天恩對林語堂說，隔壁廖家的二小姐（廖翠鳳）賢惠漂亮，他願意做媒，保準成。林馬上明白了陳天恩的意思。他覺得受到了極大的侮辱，垂頭喪氣地回到坂仔。大姐林瑞珠知道後大罵林語堂：“你怎麼這麼笨，偏偏愛上陳天恩的女兒？你打算怎麼養她？陳天恩是廈門的鉅富，你難道想吃天鵝肉？”大姐的話把林語堂拉回到現實。就這樣，林語堂的第二次戀愛還沒有步入高潮就戛然而止了。
陳錦端一直佔據林語堂心裡的某個角落，歷久而彌新。據林太乙回憶：“父親對陳錦端的愛情始終沒有熄滅。我們在上海住的時候，有時錦端姨來我們家玩。她要來，好像是一件大事。我雖然只有四五歲，也有這個印象。父母親因為感情很好，而母親充滿自信，所以不厭其詳地、得意地告訴我們，父親是愛過錦端姨的，但是嫁給他的，不是當時看不起他的陳天恩的女兒，而是說了那句歷史性的話：‘沒有錢不要緊’的廖翠鳳。母親說著就哈哈大笑。父親則不自在地微笑，臉色有點漲紅。我在上海長大時，這一幕演過很多次。我不免想到，在父親心靈最深之處，沒有人能碰到的地方，錦端永遠佔一個位置。”
林語堂筆下的少女，總是長長的頭髮，用一個寬大的髮夾彆著。林太乙問他，為什麼總是這副打扮？林語堂回答，這是他第一次見錦端時她的打扮。
林語堂說：“吾所謂鍾情者，是靈魂深處一種愛慕不可得已之情。由愛而慕，慕而達則為美好姻緣，慕而不達，則衷心藏焉，若遠若近，若存若亡，而仍不失其為真情。此所謂愛情。”
晚年，林語堂腿腳不便，常年坐在輪椅上。有一回，陳希慶的太太來看他。林語堂問起了陳錦端，陳夫人告訴他，錦端還住在