谭道济是晋末宋初著名的军人。他小时候父母双亡，几个兄弟由东晋将军唐叔谭抚养。公元404年，谭帮助他的好朋友刘裕讨伐桓玄，桓玄篡位称帝。不幸的是，他战死了。谭道济随其兄谭绍、谭才一起投奔刘裕，先后参与征讨桓玄、镇压鲁迅起义、平定荆州等战功，屡立战功。
公元416年，刘裕北伐后秦。谭道吉是先行者，去过的城市都相继出局。占领洛阳后，有人建议把被俘的四千俘虏杀光，建成北京庙，夸耀武功。谭道济说:“讨伐有罪之人，同情受苦之人，是今天。”然后所有的犯人都被释放复员了。北方胡人知道这件事后，都非常感激，纷纷出逃。
公元420年，刘裕称帝。谭道济作为开国功臣，被封为永修郡将军。刘裕命他镇守京师，准他直入寺省，赐二十级宝剑。刘裕临死前，任命大将谢晖、大将谭道济、大将许仙芝、仆从傅亮为生活大臣，辅佐17岁的皇帝刘义府继位。两年后，许仙芝的三人以让谭道济入朝为借口，计划废除沉迷游乐的刘义夫，立刘义隆为帝。废前夕，谭道济住在谢慧家。谢晖翻来覆去难以入眠，谭道吉一上床就睡着了，这让谢晖非常佩服他。
公元426年，刘义隆、宋文帝宣布许仙芝、傅亮、谢晖擅长杀害年幼的皇帝。许仙芝闻讯自杀，傅亮被捕处死，谢晖奋起反抗。对于没有参与策划、军事才能出众的谭道济，刘义隆采取拉拢政策，继续委托重用，命他和阎志出兵荆州讨伐谢晖。阎志战败后，谭道济率军到达。谢晖以为谭道济是和许仙芝、傅亮一起被杀的，却突然听说谭道济来了，军心动荡，不战而溃。
公元430年，为了解除北魏对宋朝的威胁，宋文帝命令阎志进军河南，收复洛阳、胡郎等地。然后没多久。北魏皇帝吴泰亲自率军反击，击溃宋军，挺进滑台。次年一月，谭道济率军增援，先后击败安平巩义、寿昌巩义的阻截，乘胜北进至吉水。20多天，连战30多场，打到历城(今山东济南)。最终由于魏军人数众多，滑台失陷，谭道济下令全军南撤。
此时宋粮草不足，魏军从卒中得知消息后慌忙追赶。宋军的军心被动摇了，但谭道济却下令就地扎营休息。晚上，谭道吉带领一群负责粮食的士兵在营地检查一些粮食。有的战士手里拿着竹片(古代的计算工具)大声数数，有的战士拿着水桶量米。魏军的探子见米袋已满，立即向总管报告。魏将得到情报，谭道济露出敌人的弱点，必有埋伏，于是以奸细的身份杀死之前投降的宋兵，命令部队不要轻易进攻。事实上，谭道吉把所有的沙子都放进了米袋里，只有上层覆盖着少量的白米饭。这就是成语“为沙而唱”的典故。
檀道济小夜曲当时势单力薄，军队非常害怕。谭道济命令所有军士穿上铠甲，穿上白衣，坐在车里慢慢出门，在外面行走。我怕魏军中了埋伏，不敢靠近，就回来了。谭道济虽然没有平定黄河以南地区，但他挽救了军队的安全回归，并获得了巨大的声誉。魏军很怕他，就画了他的肖像来辟邪。回来后升为师空，镇守襄阳。
谭道济威望太高，部下身经百战。诸子各有所长，被朝廷所疑。彭城王刘益康提醒宋文帝，谭道济已经失控，将来安知不是另一个司马懿。公元435年，宋文帝病危，召谭道济入朝。临行前，妻子劝他:“你太出名了，会吃醋的。”现在北京也没什么好邀请你的，怕大祸临头！”谭道济平静地回答，“我忠于外国人，守卫边境。我从来没有对不起过我的国家。我的国家怎么会让我失望呢？“谭道吉到达后，宋文帝的病有所好转。46年春天，谭道济已经登船回城，宋文帝又病了。召回谭道吉后，交给廷尉处分，诬陷他谋反。谭道济、十一个儿子以及心腹将领薛彤和阿格都被处死。
谭道吉看到有人来抓他，眼睛一怒，扯下头巾扔在地上。他大声说:“这是在破坏你的长城(自毁长城)！”谭道济被杀后，刘宋两朝大赦天下，庆祝这一事件。消息传到北魏，魏军将军枪林弹雨庆祝:“谭道济死了，南方就没人怕了！”谭道济被杀十五年后，北魏军队长驱直入长江北岸。刘义隆爬到石城北面，叹道:“如果谭道济还在，怎么会到这个地步！”
