司马相如尽管处处小心，终因文采出众，官运亨通，遭人妒忌，有小人上书武帝，诬相如出使西南夷时收受他人财物。汉武帝听信谗言，罢了相如的官。相如回到家中，和文君过起平民生活。
一年后，相如受贿，查无实据，于是武帝又召回相如任郎官。
相如口吃，不善讲话。他任官职只为办事，不追慕官爵，故不愿与公卿商讨国家大事。相如晚年体弱多病，患有消渴疾，常借病在家休养。相如常利用陪皇上出游、狩猎之机，写赋进谏。
一日，相如跟随武帝到长杨官狩猎，皇上喜射杀狗熊和野猪，追逐猛兽，相如写赋加以劝阻。赋中写道：
射击猛兽，异常危险，它会狂暴地向你进犯。你有猎获野兽的快乐，却无应付事故的准备，大祸将会来临。祸患藏于隐微之处，陛下应当小心。
皇上以为相如说得好，便不再狩猎。
相如同武帝路过宜春宫，相如又向皇上献赋，悼秦二世，历数秦二世过失，言辞恳切。至秦二世墓，相如凭吊二世，并对皇上说：“二世行事不慎，使国家灭亡，权势丧尽。听信谗言，不肯觉悟，致使宗庙灭绝。”皇上听了，频频点头，以为然。
相如暮年，授于孝文园令。
相如见武帝赞美子虚之事，又喜爱仙道，便趁机言道：“上林之事，未足美也!尚有更美者，臣愿作《大人赋》献给陛下。”《大人赋》中言：
传说中的众仙居于山林沼泽之间，形体清瘦，容貌丑陋，此非帝王心目中的仙人。世上有位大人啊，居住在中国，住宅满布万里啊，竟不足以使他停留。哀世俗之胁迫困危，便离世轻飞，向远方漫游。
《大人赋》继而叙仙境虚无飘缈，山势险峻，禽曾凶猛，气候恶劣。纵然能长生不老，纵然能活万世，也不值得高兴，怎似人间欢乐和幸福。
相如向武帝献上《大人赋》，皇上特别高兴，观后竟飘飘然，大有凌云驾雾之感，心情好似遨游天地之间那样爽快。
相如因病免官，家居茂陵。
有一天，武帝对宦官说：“司马相如病得厉害，速派人把他写的书全部取回，否则就要失散了。”
宦官代皇帝命大臣所忠前往茂陵取书。这时相如已死，家中无书。所忠询问卓文君，她说：“长卿未尝有书，他是时时写书，时时被人取走，故家中总是空空无书。”停了一会，文君又说：“长卿临死之前，写有一卷书，他告诉我如有使者来取书，就把它献上，除此再没有其他书了，”说完，卓文君就把这卷书交给了所忠。
所忠回朝，见过武帝，把相如家的情况说了一遍，把相如临终前写的一卷书交给皇上。皇上见书大惊，原来是有关封禅之事，书中写道：
上古开始之时，由天降生万民，经历各代君王，一直到秦。沿着近代君王的足迹加以考察，名声和事迹被埋没而不称道者数也数不尽。而能够继承舜、禹，崇尚尊号美谥，值得称道者仅有72君。顺天道行事，无不昌盛；违逆常理，失德行事，焉能生存？君王贤明啊，大臣杰出。
圣明君王之美德，就是行事兢兢业业，“兴必虑衰，安必思危”。商汤、周武王位居至尊，仍保持严肃恭敬之美德，虞舜在大典之中，却能观察反省自己的过失。
此书是司马相如规劝皇帝不要迷恋仙道，不要去封禅。
武帝看了心有所动，但终不听。司马相如死5年后，武帝开始祭祀土地神。死后8年，武帝先祭中岳嵩山，然后又封禅于泰山。
相如辞赋，多用假托言词和夸张说法，但其主旨却归于节俭。杨雄认为司马相如的华丽辞赋，鼓励奢侈的言词与倡言节俭的言词是一百比一的关系，即所谓“劝百讽一”，如同尽情演奏郑、卫之音，而在曲终演奏一点雅乐那样。司马迁却认为杨雄对相如辞赋的评价，有损相如辞赋的价值。
啊，一代才子佳人的婚配，流传千古，至今仍传为佳话。