“色目”这个词汇在唐代就已经出现，当时代表的含义为“诸色名目、种类”。而“色目人”这一词汇，出现于元世祖忽必烈时期，主要是指元朝对除蒙古以外的西北各族、西域以至欧洲各族人的概称。

在蒙元王朝的统治下，他们把治下的人民分为四等，地位由高到低分别为“蒙古人”、“色目人”、“汉人”以及“南人”。

“蒙古人”指的是蒙古高原的居民，但严格说来，是1206年成吉思汗统一蒙古高原时集合的人们及其后代，包括未汉化的契丹人，女真人等，未并非一个统一民族。

“汉人”主要指的是金的遗民，“南人”指的是南宋的遗民，但汉人阶级也包括了已经汉化的契丹人、女真人和党项人，附属国高丽的民众也属于汉人层次。

而“色目人”是除了蒙古人、汉人、南人以外的所有西方民族的总称，他们名目繁多，而常见于元人记载中的色目人主要包括了唐兀、乃蛮、汪古、回回、畏兀儿、康里、钦察、阿速、哈剌鲁、吐蕃等等，当时的欧洲人也算在色目人中。

色目人的种类和名目非常之多，其中又以回回人最多，所以有时也会以回回人来代指色目人。

在元朝的建立和发展过程中，色目人大量进入汉人居住的地区，他们作为蒙古人征服中亚和西域的归附者受到元朝的重视，因此在元朝的社会阶层中，色目人为仅次于蒙古人的阶层，地位还高于汉人和南人。