。四人來了，住在建成侯呂澤家裡。
漢十一年，黥布謀反，劉邦病了，想讓太子帶兵去討伐黥布。四位老人都說：“從來的皇上都會讓太子留下，如果讓太子去帶兵，形勢就危急了。”他們對呂澤說：“太子去帶兵打仗，如果有功勞，太子處的地位對他不利；如果無功而還，那就會從此受到禍害。再加上太子所率領的各位將領，都是曾經跟隨皇上打天下的驍勇之將，如今讓太子去率領他們，和讓羊去率領狼沒有什麼不同，都不會為太子出力，肯定不會打勝仗。我們曾聽說‘母親一定抱她喜歡的兒子’，如今戚夫人日日夜夜都守候在皇上身旁，常常把起王如意拖到皇上跟前，皇上說‘一定不能讓那個不肖子居於我的愛子之上’，這說明他是一定要廢立太子的。你何不趕快去請呂后找機會向皇上哭訴說‘黥布是天下聞名的一員猛將，很會帶兵打仗，如今的各位將領都是和陛下平輩的故舊，如果命令太子去率領這些人，和讓羊去指揮狼沒有什麼不同，決不會為他效力的，如果讓黥布得到這個訊息，他更會無所畏懼地揮師西進。皇上雖然有病，準備一輛很好的車子，安安穩穩地躺在上面，這樣諸將沒有敢不盡力的。皇上雖然辛苦一些，也使自己的妻兒得到好處。’”呂澤立刻連夜拜見呂后，轉告了四皓的意見。呂后便找機會向劉邦哭訴，把四皓的意見都講了。劉邦說：“我也知道太子一定不能當此重任，還是讓我親自去吧！”於是劉邦御駕親征，命令群裡留守京城，君臣都將劉邦送到灞上。張良雖然有病，也強支撐病體，趕到曲郵見到皇上說：“本來我應該跟隨你去才是，但是我病得很重。黥布率領的楚軍十分兇狠，希望皇上一定不要和他們硬拼。”同時他又向劉邦建議：“應該任命太子為將軍，監督關中的軍隊。”劉邦同意了他的意見，對他說：“你雖然有病，還是請你強支病體輔佐太子。”那時叔孫通擔任太傅，張良行使少傅的職責。
漢十二年，劉邦鎮壓黥布的叛亂後率兵歸來，這時他的病更重了，愈加想廢立太子。張良勸阻，他仍然不聽，張良本身也有病就不管事了。太傅叔孫通說古道今，以死相爭保護太子。劉邦雖然表面答應，心裡還是想廢太子。一次皇上宴請群臣，太子在坐，四位老人輔佐太子，年紀都已經八十多歲了，頭髮和眉毛都全白了，穿戴的衣帽都很有氣派。皇上見了非常吃驚，問道：“他們是幹什麼的？”四位老人上前答話，通報了各自的姓名，他們是東園公、角里先生、綺裡季、夏黃公。劉邦聽了大吃一驚，說：“我找你們好幾年了，但老先生們一直逃避我，今天老先生們為什麼又自己來追隨我的兒子？”四位老人都說：“陛下從前看不起讀書人還要嘲笑他們，我們不願受這種侮辱，因為恐懼而逃亡隱居起來。我們私下聽說太子為人講究仁義十分孝順，對讀書人尊敬愛護，天下的人都伸著脖子願為太子去死，所以我們投奔太子來了。”劉邦只好說：“勞煩各位老先生好好教育和照顧太子。”
四位老人為皇上祝酒後隨太子離去。劉邦看著他們離開，然後召來戚夫人指著四人的背影對她說：“我本來想廢立太子的，但有這四個人輔佐太子，他的羽翼已經豐滿，很難動他了。呂后已經真正掌握了主動。”戚夫人哭了起來。劉邦說：“你為我跳個楚舞吧，讓我為你伴唱一隻楚歌。”他放聲高唱道：“鴻鵠高高飛翔，一飛就是千萬裡。它的羽翼已經豐滿，可以自由地在四海飛翔。自由地在四海飛翔，又能夠將它怎麼樣？我雖然也有弓箭，又如何能射中它！”唱了幾遍，戚夫人已泣不成聲，劉邦起身離去，盛宴終止。劉邦最終不能廢立太子，完全是因為張良推薦招來四位老人起了作用。
張良跟隨劉邦平息了代地的叛亂，用奇計攻克了馬邑，又勸劉邦立蕭何為相國，經常和劉邦商討大大小小的事情，由於不關係天下存亡，所以沒有存錄。張良自己評價自己說：“我家兩世為韓國宰相，韓國滅亡之後，不留戀萬貫家財，為韓國復仇不畏強秦，令天下振動。後來用三寸之舌為帝王當軍師，分封萬戶，位列侯爵，這是一個平民書生的最高榮譽，對於我張良來說已經感到最大的滿足。我如今願意拋棄人間的閒事，想追隨神仙赤松子雲遊。”於是開始學辟穀不食人間煙火，修身煉道。劉邦病逝後，呂后重視張良的才德，強制他重新食人間煙火。呂后說：“人生一輩子，就像一匹白馬從縫隙間一閃而過，何必這樣自己折磨自己！”張良不得已也吃些食物。
張良當初在下邳圮上接受那位老父贈送他的《太公兵法》，十三年後他跟隨劉邦路過濟北的時候，果然在谷城山下見到了黃石，他把它帶回去當珍寶奉伺。張良死後，將黃石與他葬