西汉时，北方匈奴势力空前强大，特别是冒顿单于（公元前209-前174年）的统领下，不断侵犯今河北、山西、陕西、以及河套一带，给予刚刚建立起来的西汉王朝以莫大的威胁，公元前200年，甚至连汉高祖刘邦亦被冒顿单于四十万精兵围困于平城白登山，差点成了匈奴单于庭的阶下囚。

至汉武帝即位后，采取抗战派的主张，发动积极的防御战争，匈奴的袭扰势力才被击退。在西汉，匈奴势力虽然强盛，但其控制范围也仅仅局限于东尽辽河、西至葱岭、北抵贝加尔湖、南达阴山附近的秦长城，也就是说，大同附近一带，除了屡屡遭其侵扰外，还鲜见匈奴人居住。桑干河上游到了王莽时期，一些北部汉朝官吏背汉降匈奴。从此，出现了匈奴人在大同区域居住的现象。公元24年，代郡守张晔叛汉，引结匈奴为援助。当时的代郡西部属于现在的大同区域。“更始”为光武帝刘秀称帝前刘玄的年号，《后汉书》所言：“招匈奴，乌桓为援助”，说明已有匈奴户落进入代郡属县。更能印证的是卢芳叛汉事件。公元35年，上将军、西平王卢芳归入匈奴、单于立卢芳为“汉帝”，以其弟卢程为中郎将，与建武五年（29年）都于九原。既然投降了匈奴的卢芳在雁门没有守令，并于匈奴互相通兵，不难想象，当时的雁门郡地，已是胡、汉通地了。桑干河上游建武九年（33年），卢芳的军队和后汉的军队在高柳（今大同市阳高县）、繁峙开战，汉军大败。第二年，匈奴的左南将军率千余骑兵与汉军王霸决战于平城（大同），汉军又一次溃败。这些事实说明，其时大同地区的匈奴势力已经十分强盛。后汉的防线迫于匈奴的强大军事力量，不得已后撤。王霸将刑徒六千余人，与杜茂治飞狐道。堆石布土，修筑亭障，自带至大同三百里，重新构筑了从代郡的中心壶流河流域至平城的中心桑干河上游地区的防线。匈奴在晋北的步步逼近，后汉防线的节节后退，充分说明了匈奴部落居民在平城（大同）一带已成局面。呼韩邪单于后汉建武二十四年（48年），骓牧匈奴之南管领南边八部之众的右奥鞬日逐王比（呼韩邪单于稽候珊之孙），归附汉朝，自立为呼韩邪单于，遣使至后汉首都洛阳奉藩称臣。至此，匈奴遂分为南北二部。南匈奴降汉后，其部分部落散居在雁门、代郡一带。这个事实非常重要，匈奴的左南将军和栗籍骨都侯分领“部众”当包括南匈奴的的非军事部落，同时，后汉王朝为了安抚新近归顺的南匈奴，每年供给费值一亿九十余万，又诏令：“云中、五原、朔方、北地、定襄、雁门、上谷、代八郡民，避匈奴内徙者归于本土”，此时的大同地区主要居民无疑是以汉和南匈奴人为主了。匈奴人东汉末，战火连绵，南匈奴势力处于衰弱状态，这种状态一直延续至魏晋。公元357年，北燕慕容派遣抚军将军慕容垂、中将军慕容虔率步骑八万进攻匈奴敕勒部，大破亡。这次战役共斩获敕勒十余万，缴获马匹十三万匹，牛羊亿万头。匈奴单于贺赖头摄于北燕军威势，于是率部三万五千人口降燕，燕人将其安置于代郡平舒（今大同市浑源县东，广灵县西）。四世纪中叶，该地区除原有的散居匈奴居民外，又增加三万五千口。南匈奴自降汉以来，其部落大部分散居在鄂尔多斯高原以南，人口最多曾达二十三万之多。匈奴女子其时居住在桑干河上游一带的匈奴人除了南匈奴之外，还有重要的两支部族，即铁弗匈奴刘虎部和独孤部刘库仁。四世纪初，铁弗刘虎世居虑虒（今山西五台县北）之北。父亲是匈奴人、母亲是鲜卑人的混血儿称作"铁弗"，所以刘虎便以此为号，称为铁弗部，一直散居在离着不远的桑干河上游一带。刘虎是并州五部匈奴北部统帅刘猛的侄子。另外，独孤部刘库仁是大同的老住户了，居住在桑干河上游部分地区以及广灵、蔚县为中心的壶流河流域，也就是说，刘库仁遍散于现在大同和朔州所辖的所有地区。后汉末年，崛起的鲜卑族势力逐渐南下，散居在北边的匈奴难于抵抗，疲于奔命，有些部落已被拓跋部完全吞并，以作为拓跋部族联合核心的三十六部之一独孤部便是典型的例子。也可以这样说，到四世纪中后期，雁门关外占主要力量的鲜卑拓跋部，其部落民众中，匈奴人占有很大的成分。