元朝的行省全称叫行中书省，等于是国家最高行政机关的派出机构。实际上，最早的行省是金朝设置的行台尚书省。金朝、元朝比较推崇专制独裁，对中原政权运行的相互制约、相互平衡的三省六部制并不苟同，所以实际上或直接就实行“一省制”，金朝最高行政机构是尚书省，元朝最高行政机构是中书省。
行中书省这个机构，脱胎于隋唐三省六部制，朝廷在都城设中书省，在都城以外比较重要的地方设行中书省，作为中央临时派出机构代表朝廷管理督查地方事务。元朝将这一机制发扬光大，在中央设立“中书省”，直接管辖河北、山东、山西等“腹里”地区;其他的地方划分为十个区域，设“行中书省”，代表中央管辖所在地区，分别是岭北、辽阳、河南江北、陕西、四川、甘肃、云南、江浙、江西、湖广等。行省作为中央的派出机构，官员设置与中书省基本相同，设有丞相、平章政事、参知政事等。行省之下设路、府、州、县。
金朝灭掉辽、宋以后，统治的疆域空前加大，于是在新占领的汉地中一些重要的要塞设置专门的行省，这里的行省全称是某处行台尚书省。比如说，金朝取缔刘豫的伪齐政权后，在开封府设立汴京行台尚书省，后来又设立燕京行台尚书省。到了金朝晚期，为了应对蒙古战事，朝廷在北方边境也设置了许多临时的行省，比如在蒙金战争中一个著名战役前夕，金朝皇帝完颜永济就在西北边区设置临时行省，由完颜承裕任参知政事、独吉思忠任平章政事。
蒙古人只是“照葫芦画瓢”而已。蒙古占领金朝广大疆土以后，延续金朝的统治模式，才开始也是设置行台尚书省。后来，忽必烈建立改国号为大元，以中书省为国家最高行政机构，然后各地行台尚书省一律改置为行中书省。行省制度之所以在元朝有着更加广泛的影响力，与元朝拥有幅员辽阔的疆土有关系。
元朝行省制度与金末行省制度的性质基本一致，不仅是出于军事战略的需要，而且是行政管理的要求。所以，不能说元朝首创行省制度，而是金朝开启元朝行省制度的先河，元朝在充分吸收前代政治经验的基础上，推广了行省制度，其影响力一直延续至今。
