蔡少芬有着众所周知的辛酸身世，因为他的父母离异，母亲欠下大量赌债，这是蔡少芬为刘銮雄堕胎的缘起。当蔡少芬只有18岁时，他被刘銮雄收养。蔡少芬为刘銮雄堕胎，只是为了还母亲的赌债。幸运的是，他现在嫁给了一个好丈夫。
当蔡少芬很小的时候，她的父母就离婚了，她的母亲沉迷于赌博。为了逃避债务，还清家里的债务，蔡少芬为刘銮雄做了堕胎手术，蔡少芬拍完电影后一直在为他们攒钱。蔡少芬觉得路越来越难走了，所以他想到了自杀。但是一个偶然的机会，蔡少芬得知了港姐选美比赛的消息，并且获奖拿到了奖金。
15岁时，蔡少芬参加了一次模特大赛，但结果是空手而归。17岁时，他又参演了《港姐》。蔡少芬获得第三名，但他仍被媒体誉为最年长的港姐。那时候的蔡少芬还有些娃娃脸，妆化得很浓，看起来也就17岁多。不过，让蔡少芬出名的是18岁在丽晶酒店(现洲际酒店)举办的百万生日会，在丽晶酒店摆了50桌，耗资数百万元。庆祝他生日的是商界名人刘銮雄，与蔡少芬的年龄相差20岁。从此，蔡少芬为刘銮雄堕胎的丑闻曝光了。
交往6年后，刘銮雄送给蔡少芬豪华礼物，据说包括黄埔花园的两个单位、比佛利山庄的一个天台单位和巴黎的一个单位，价值超过3000万港元。最麻烦的是，蔡少芬的母亲和姑姑多年来欠下巨额赌债，使得蔡少芬在蔡少芬和刘銮雄结束关系后，为刘銮雄堕胎多年。她仍然不得不依靠他来偿还她的债务。她的二姨甚至召开记者会，揭露刘銮雄给了蔡少芬1000万港币。
蔡少芬从未承认他与刘銮雄的恋爱关系，而且有几次传言说蔡少芬被刘銮雄留下来偿还他的赌债。然而，蔡少芬的一位亲戚透露，蔡少芬是自愿和刘銮雄在一起的。事后，蔡少芬召开新闻发布会，向网友哭诉她替母亲还了一亿多赌债。另据报道，蔡少芬曾为他堕胎。
据知情人士透露，为了尽快还清赌债，蔡少芬愿意做刘銮雄的小情人。那一年，蔡少芬只有18岁。尽管蔡少芬很不情愿，但为了他的生命，他还是屈服了。那时，蔡少芬开始在娱乐圈打拼。有网友表示，每个人背后都有一段悲伤的历史，被生活所迫也无能为力。
但是蔡少芬在这段关系中没有感受到爱情的力量。她想过自杀，说她觉得世界上没有爱情。现在她是一名虔诚的教徒，并于2008年1月与大陆演员张晋结婚。蔡少芬的丈夫张晋现在有两个女儿，一家四口很幸福。但据的自我披露，她在生下大女儿张之前经历过流产，第一胎两三个月后就没有了心跳。
