鉴于他和嬴政的特殊关系，在平定嫪毐叛乱后，吕不韦仅被免去了丞相的职务。但是，嬴政自幼年起所经历的畸形的家庭生活，给他身心留下了太多的伤痛。他亲眼目睹了母亲放荡、不检点的生活，甚至自己都是十七八岁的大小伙子了，吕不韦还明目张胆地入后宫和母亲厮混，尤其那个嫪毐，简直是一头牲口。嫪毐已被镇压，嬴政不担心了，可吕不韦还在咸阳，他如果哪天再入后宫，和太后旧情重燃，岂不又惹麻烦？
嬴政毕竟是政治家，他从秦国稳定、秦国发展的高度考虑问题，再次做出决定，让吕不韦离开咸阳，到封地洛阳，就国河南。应该说，嬴政做出这样的决定，依旧给足了吕不韦的面子。到洛阳，你食十万户租税，你还是文信侯，依旧享受荣华富贵，而且远离了政治中心，还落得个安全、清净。从这点看，嬴政用心良苦，为吕不韦安排了安度晚年的去处，也算是解决他们特殊关系的最佳方案吧。
但是，吕不韦没有这样做，他自以为在洛阳可以积攒力量，发展势力，也许还会有些作为，甚至东山再起！
来洛阳后，吕不韦果然又活跃起来了，他广泛交结，家中整日酒席不断，高朋满座，前来拜访、探望的各国使者宾客络绎不绝。《史记·吕不韦列传》载：岁余，诸侯宾客使者相望于道，请文信侯。
吕不韦在洛阳的活动，很快传到政治嗅觉很敏感的嬴政那里。嬴政刚亲政，需要稳定，没想到吕不韦不接受教训，耐不住寂寞，这真不能容忍！嬴政终于感到必须对吕不韦采取最后的一招了。
秦王政十二年（公元前235年）他派人给吕不韦送了一封信，吕不韦打开一看，只见上面写道：
君何功于秦？秦封君河南十万户？君何亲于秦？号称仲父！与其家属徙蜀！这封信是嬴政对吕不韦政治地位和亲情关系的彻底否定：
第一，你吕不韦对于秦国无功，不应该享受租税食邑；
第二，你吕不韦与我无亲，不该称仲父。一个既无功又与我不沾亲的人，跟我有何关系，赶快远远的离开这里！
按说，君主处死一个失势下野的大臣，用不着说这么多的话，可是嬴政却非要对吕不韦给个说法。可是这个说法却泄漏了天机，所谓无功、无亲纯属正话反说，恰恰是有功、有亲。面对这样一封绝情信，吕不韦无言可辩，他后悔自己的失误，感叹自己的命运不济，但一切都晚了。不久他喝下毒酒自杀。
关于吕不韦之死，还有一种说法，他是在迁蜀路上服毒自杀的。司马迁在《太史公自序》中说不韦迁蜀，世传《吕览》。学术界不少人认为，吕不韦得知迁蜀而自杀，未曾至蜀。
从吕不韦弃商从政，建立显赫功绩，到一再失误，落得悲惨结局，可以看出，他始终以商人投机的心态和赢利的价值观处理事务。他的谋略和活动能量都是超一流的，任丞相一职也名副其实，但他在处理个人问题上就不那么聪明了，他私心太重，有利就钻，见便宜就占，终于使嬴政改变了对他的看法，政治关系取代了情感关系，吕不韦晚节不保，身败名裂，为后人留下深深的思索。
吕不韦是饮鸩自尽的。相国吕不韦因侍奉先王有很大功劳，还有很多宾客辩士为他说情，秦王恐怕他发动叛乱，在正式继位掌权后，就将吕不韦革职，下令让其举家迁蜀，吕不韦一想到自己逐渐被逼迫，害怕日后被杀，就喝下毒酒自杀而死。1、吕不韦是饮鸩自杀而死的，表面上看吕不韦之死是嫪毐事件的后续，实际上是因为吕不韦跟嬴政政见不和。嫪毐能跟赵太后通奸，完全是因为吕不韦从中操作；但是吕不韦的真正死因是他想采用《吕氏春秋》治理秦国，而嬴政想用法家思想治理天下！嬴政发现吕不韦的政治纲领无法改变后，剥夺了他的一切官职，让他回洛阳老家养老；吕不韦回了洛阳后大宴天下名士，继续宣扬他的政治纲领；嬴政担心吕不韦的影响力太大会动摇国本，于是勒令他全家迁往巴蜀；吕不韦惧怕嬴政诛杀他，于是当晚饮鸩毒而死。
2、吕不韦(前292年—前235年)，姜姓，吕氏，名不韦，卫bai国濮阳(今河南省安阳市滑县)人。 战国末年著名商人、政治家、思想家，官至秦国丞相。公元前251年，秦昭襄王去世，太子安国君继位，为秦孝文王，立一年而卒，储君嬴子楚继位，即秦庄襄王，前249年以吕不韦为相国，封文信侯，食邑河南洛阳十万户，门下有食客3000人，家僮万人。庄襄王卒，年幼的太子政立为王，吕不韦为相邦，号称“仲父”，专断朝政。
