清军入关前，成吉思汗第二十代世孙鄂尔多斯部落首领额林臣率部归顺后金。

清顺治六年（公元一六四九年），清王朝对鄂尔多斯部落分旗而治，置六旗。

额林臣被清世祖封为多罗郡王，并任伊克昭盟第一任盟长，其封地为鄂尔多斯左翼中旗，俗称郡王旗（1958年该旗与扎萨克旗、达尔扈特部辖地合并为伊金霍洛旗）。

郡王府为郡王旗扎萨克（“扎萨克”是蒙语，汉意为“治理”）的私邸。由于历代王爷的世袭更替，其王府亦不断迁徙。

郡王府始建于台吉召，之后又迁于昌汗伊力盖召、吉盖特拉、独贵什里等地，其间住所多为蒙古包。

光绪初年，王府迁至阿镇东南距现存郡王府驻地约一华里的乌兰木都，其住所为15间瓦房和部分蒙古包。

光绪二十八年（一九零二年），郡王旗第十四代扎萨克特克斯阿拉坦呼雅克图袭位后，王府正式迁至现存郡王府所在地，其住所为半砖木结构的9间正房和6间土建平房，并用沙柳扎围做院。

民国十七年（一九二八年），该旗第十五代扎萨克图布升吉尔格勒多罗郡王请来山西偏关匠人宋二等三十余名能工巧匠，开始郡王府的翻新建设，到民国二十五年（一九三六年）完工，整个工程耗资13800余银元，相当于该旗当时一年半的全部财政收入。

新建的郡王府规模宏大、富丽堂皇。《伊克昭盟志》当时称赞该府“画阁雕梁、龙文凤彩、备极富丽，为伊盟最新的王府”。