有一次宴会，在摆设酒席时，太子在皇上旁边侍奉。太子身后站着四位老人，年龄都在八十岁岁上下，须眉皓白，衣冠伟岸。刘邦从未见过，很奇怪，就问他们是谁？四个人上前答话，各人报上姓名：东园公、甪里先生、绮里季、夏黄公。刘邦很惊讶，问：“我访求你们几年了，你们都躲着我，今天怎么会跟着我的儿子？”四人回答：“陛下轻慢士人，随意辱骂，臣等不愿意受辱，因为恐惧，藏匿起来。听说太子仁孝，恭敬爱士，天下人皆愿意为太子效命，所以臣等来到太子身边。”刘邦说：“那就拜托你们，辅佐太子。”
四人向刘邦敬酒，退出酒宴。刘邦目送他们离去，然后召唤戚夫人，指着这四个人的背影说：“我本想更换太子，但是，那四个人辅佐太子。太子羽翼已经长成，很难撼动。吕后只能做你的主人了。”戚夫人听了，痛哭流涕。刘邦安慰她说：“你为我跳楚舞，我为你唱楚歌吧！”随即歌唱道：“天鹅高飞，展翅千里。羽翼已成，纵横四海。纵横四海，无可奈何！虽有短箭，尚有何用？”刘邦连唱几遍，戚夫人只是不停地叹息流泪。然后刘邦起身离去，酒宴不欢而散。最终，没有更换太子，这全是张良招来的这四个人的力量。这四个人即“商山四皓”，是秦朝末年的四位博士，因不满秦始皇的焚书坑儒而隐居于商山。后人用“商山四皓”来泛指有名望的隐士。
张良曾随同刘邦进攻代地，在马邑城下贡献奇计，还曾建议拜萧何为相国。他与刘邦畅所欲言、从容不迫地谈论天下，内容非常多，因为与天下的存亡没有什么重大关系，司马迁没有记载，我们也无从得知。
张良宣称：“我们韩家世代在韩国为相，韩国遭遇亡国，我不爱惜万金家财，为韩国向强秦复仇，天下为之震动。今天我能够凭藉三寸之舌，成为皇帝的老师，得到万户食邑，位列侯爵，这已经是布衣最高的理想，对我来讲，已经知足。我愿意抛弃人间俗事，跟随赤松子遍游天下。”
于是，张良开始学习气功和辟谷的方法，奉行导引之术，以便让自己变轻。刘邦驾崩后，吕后感激张良的恩德，怕他会伤了身体，就强迫他吃饭，说：“人生在世，就像白驹过隙那样短暂，何必这样自讨苦吃啊！”张良不得已，勉强听从了吕后的建议，重新开始进食。又过了六年，张良去世，谥号为文成候。
当初张良在下邳桥上，遇见了那个给他《太公兵法》的老人。十三年后，他路过济北，果然在谷城山下，见到了那块黄石，便带回家，当作最贵重的宝物来祭祀。张良去世之后，这块黄石也安葬在他的墓里。每年，张家族人在伏、腊两季，祭祀张良和黄石。
张良的嗣子张不疑继承爵位，孝文帝三年，因为犯下不敬罪，撤销封国。
张良的一生为汉朝立下了巨大的功劳。太史公司马迁对张良也是佩服得很，认为如此奇男子应该长的魁梧奇伟。然而没想到看到张良的画像，却大跌眼镜，张良的相貌，像一个妇人美女般的柔弱。
张良懂得功成身退，毫不犹豫地放弃了权利，选择了一种虔诚的修道生活。他远离了政治斗争，寻求内心的宁静，是有大智慧的人。他留下的爵位和财富在后代中逐渐丧失，然而，张良的家族精神和智慧得以保持和传承。在中国的历史上出现了不少大家族，他们传承了几千年的时光，却依旧屹立不倒，在每个年代都能够绽放自己的光芒，最为典型的便是孔家了。但除了孔家之外，还有一个非常低调，但是却非常厉害的家族，那就是张良家。
张良的八世孙张陵创立了天师道，天师在民间有很大的影响力，甚至可以与儒家相媲美。不过与儒家不同的是，天师们往往喜欢隐匿在深山老林之中，很少和凡事有所交往，大概是为了寻求内心真正的宁静。而天师的传承是世袭罔替的，所有的天师继承人必须是天师的血脉，并且得到天师认可的信物。正因为如此，逐渐形成了张氏“天师世家”。直至今日，张氏“天师世家”已有2000多年的历史。张陵创立的道教是从道家衍变出来的一个宗教信仰，虽然道教的长生不老，得道成仙是一种迷信的思想，但道教“济世救人”的宗旨具有积极意义，成为了中国文化不可或缺的一部分。张陵去世之后，长子张衡成了第二代天师。张衡是东汉时期著名的天文学家、数学家、地理学家、发明家和诗人。到如今，张天师共已经传承了63代。
张良的故事不仅仅是一个人的传奇，更是中国历史上的一个经典。