谁也说不清坎儿井是何时何地开始出现的。在新疆的维吾尔族中流传着一个故事:很久以前，一个年轻的牧羊人为了寻找水源，用手挖了一口井，这口井就这样代代相传了下来。
也有人说新疆的坎儿井是随着伊斯兰教的传播从波斯传到中国的。中东、中亚和北非的干旱地区很多地方都有坎儿井，尤其是伊朗中部的高原，沙漠中成千上万的坎儿井点缀着绿洲。据说伊朗的坎儿井有两千多年的历史。地处丝绸之路的新疆，很可能接受了国外的引水方式，从而开凿了中国第一口坎儿井。
但也有不少学者坚持认为坎儿井最早发明于中国中原地区，后随着疆域向西域扩张而传入新疆。汉武帝在位期间，在陕西省大荔县开凿了一条“龙首渠”，将洛河从地下引至下游大理平原灌溉。有人说“龙首曲”是坎儿井的前身，后由中原派往西域开荒守边的汉族军民带到新疆。
从历史情况来看，吐鲁番是古代欧亚交通的主要通道，是经济文化交流频繁的地区。东西方文化和技术的传播对坎儿井的形成起到了重要作用，坎儿井的真正起源有待进一步研究。
