1375年(洪武八年)，刘基知道自己时日不多了。李世民交代后，对次子刘晶说:“治国之要，宽严相济。法院现在必须要做的是，在职者尽可能的培养道德，法律尽可能的简洁。平日里，如果在位者能以身作则，用道德影响群众，效果会比惩罚更好，影响更深远。一旦下属或人民犯了错误，能以一颗善良的心灵设身处地为对方着想，判出来的刑罚一定能达到公正为人服务，警示人们改过自新的目的。如果法律能尽量简洁，让人民群众容易理解，容易遵守，就可以避免人民群众动不动就不知所措，政府的公信力和仁政的良好形象也就建立起来了。这样，上帝会永远更加保佑我。”他继续说，“本来我想写一份详细的遗书，把我最后的想法和我所知道的事情贡献给皇帝，但胡还在那里，所以写也是徒劳的。不过，当胡战败的时候，皇上一定会想起我，问你我的遗言。那你就偷偷把我的话弹给皇上听吧！”他最终于4月16日在家乡去世，享年六十五岁。
