呼市和大同有一段渊源，战国两汉的“云中郡”在呼市的托克托县，隋唐的“云中”则指大同；大同历史上曾有“云内”之名，可是元代的云内却在呼市的西南郊。

下面简述一下子辽代以来的呼市与大同的关系：辽、金、元时期呼市叫做丰州，属于西京道（大同道）；明代朱元璋洪武22年明军放弃大同总兵辖下的东胜卫（今呼和浩特市托克托县），呼和浩特遂与大同沿长城隔绝了二三百年；清代，1723年以前呼市是大同总兵下辖下的归北营；1723年至1729年归北营升级为归化城厅，归山西大同府管辖；1729年大同府一分为二，东部仍为大同府，西部则叫朔平府（今朔州右玉县），呼市（归化）因之划归朔平府；1741年，呼市（归化城厅）升级为山西巡抚的直隶厅，与大同府、朔平府平级，并成为山西归绥道德治所，管辖北出长城的“口北十二厅”山西移民，成为当时山西政治地位最高的四个城市（冀宁道-太原、雁平道-代州、河东道-运城、归绥道-归化）之一；但这时一方面呼市归山西管辖，另一方面驻在呼市新城绥远城的从一品大员绥远将军却管辖着大同总兵和宣化总兵，在战时甚至可以指示正二品的山西巡抚。所以也算是一种权力上的相互制衡，以便更好地应对噶尔丹的威胁；1888年大同府的丰镇厅（丰镇、集宁等地）和朔平府的宁远厅（凉城、卓资等地）都划给归绥道，由呼市管辖；1913年底，北洋政府决定“晋绥分治”，从此归绥道脱离山西另建绥远省，呼市（归绥）成为绥远省省会；抗战时期伪蒙疆联合政府成立，归绥（呼市）被改名厚和豪特、与张家口、大同（晋北政厅）同在一个伪行政区域内，当时伪首府在张家口；抗战结束后绥远、察哈尔复省，大同也回归山西；解放后察哈尔省会张家口曾一度兼做过两三年内蒙古的代首府（1950-1952，此时绥远尚未并入内蒙），此时大同也被划在察哈尔省内；1952年，内蒙古代首府迁至归绥（呼市），但绥远省尚未撤销，呼市仍为绥远省省会；但内蒙政府搬出张家口后，察哈尔省被肢解，察哈尔省张家口市、宣化市、张北地区并入河北省，大同市并入山西省，其余地区都归内蒙；1954年底，绥远省彻底被取消，即“蒙绥合并”，归绥也因之改名呼和浩特。此后，大同、张家口、呼市本文化一体的地区划入三省，后来宣化并入张家口，绥东又建立乌兰察布盟（集宁），形成了今天的行政格局。