色目人后来经历蒙古人，畏兀儿与汉人大规模混血形成回族、撒拉族等少数民族的最早来源，并成为后来的回族。
元人使用“色目人”之名，就是指其种类繁多。当时色目人有多少种，说法不一。元末人陶宗仪在《南村辍耕录》中列举了三十一种，清人钱大昕的《元史氏族表》则列为二十三种。据近人核查，陶、钱所列既有重出，也有错漏。因为当时西域、欧洲人的民族成份很繁杂，元人对他们的译名又不划一，所以不可能精确地记载元代色目人的种数。
常见於元人记载的色目人，有唐兀、乃蛮、汪古、回回、畏兀儿、康里、钦察、阿速、哈剌鲁、吐蕃等等。色目人在元朝的建立和统一全国的过程中大量进入汉族居住地区，他们作为蒙古人征服中亚和西域的归附者受到元朝的重视，被列为全国四等人中的第二等人，待遇仅次于蒙古人。
色目的上层人物，有的是军队将领，有的是政府官员，有的是勾通官府的大商人。色目官员在元朝各级政府机构中占有一定地位，他们可以担任汉族官员不能担任的职务，如地方政府的达鲁花赤；一般则规定蒙古人任达鲁花赤，汉人任总管，色目人任同知，以便互相监督。
在科举考试和入仕方面，色目人享有的优遇几乎与蒙古人相同。色目人犯重刑，与蒙古人一样由大宗正府处置。但是，元朝给予色目人的优遇只能使他们的上层人物受益，下层色目人则象普通的汉人那样，处於无权地位，有不少贫苦的色目人沦为奴婢。
色目人是元代对西域人的统称。“色目”一词，唐代已流行，有“种类”、“诸色名目”等义。有时也把“姓氏稀僻”的人称为“色目人”，即指一般姓氏以外的各类人。
色目人是元代的四种位阶之一，广义上的来讲，一切除蒙古、汉人、南人以外的西北民族都算是色目人。在元代的社会阶层之中，色目人的地位在蒙古人之下，汉人和南人之上。
常见於元人记载的色目人，有唐兀、乃蛮、汪古、回回、畏兀儿、康里、钦察、阿速、哈剌鲁、吐蕃等等。
——这些人都是不同语系、不同人种的混杂
唐兀是西夏党项人，他们和吐蕃都是汉藏语系的；乃蛮、汪古、畏兀儿、康里、钦察都是突厥语系的；阿速人是高加索人种。当时的欧洲人也算色目人（称为发郎或郎人）
色目人实际上是元代时，对中西亚各民族的统称，也是元代人民的四种位阶之一。广义上讲，一切除蒙古、汉人、南人以外的西北民族都算是色目人。其中中亚突厥人最高，波斯人次之。在元代的社会阶层之中，色目人的地位在汉人和南人之上，在蒙古人之下。
