北部都尉有四千餘戶，居住在新興縣（今山西省忻縣）；
中部都尉有六千餘戶，居住在大陵縣（今山西省交城縣、文水縣一帶）。
至此，匈奴單於王朝終結。
在匈奴五部之中，以左賢王劉豹為大。
劉豹兒子叫劉淵，自小聰慧，對諸子百家和各類史書，無一不通。
劉淵在十五歲時，作為匈奴部的質子被派往洛陽。
寬闊的街道，巍峨的殿堂，熱鬨的集市，川流不息的行人令劉淵大開眼界。
第二年時，劉淵參加了晉武帝司馬炎的禪讓大典，萬人參拜，高呼萬歲。
司馬炎高高在上，接受眾人的禮拜，猶如神祗，這令劉淵更是羨慕不已，夢想有朝一日也能君臨天下，受萬人膜拜。
八王之亂時，並州刺史東嬴公司馬騰聯合鮮卑、烏丸等部，起兵討伐成都王司馬穎，一時鄴城形勢十分緊張。
於是，劉淵乘機對成都王司馬穎說
“殿下，如今敵軍兵眾十萬，驕橫強暴，恐怕不是宿衛軍以及都城附近的兵士所能抵抗得。
請讓我回到並州，勸說匈奴五部的人馬，共赴國難。斬殺司馬騰和王浚兩個叛逆，將他們的人頭懸掛在鄴城城頭之上。”
司馬穎聽後非常高興，於是任命劉淵為北部單於、參丞相軍事。
金鱗豈是池中物，一朝化龍雲飛揚。
劉淵回到山西，立即築壇設祭，自稱漢王，建年號為元熙，追尊後主劉禪為孝懷皇帝，國號為漢，史稱漢趙。
五部匈奴氣勢如虎，身騎戰馬，呼嘯如風，揮刀砍殺，數戰數捷，很快便占領了山西大部。
劉淵死後，其子劉聰即位。
劉聰雖然稱帝，但其勢力範圍主要分布在山西一帶，隻能算作是一方諸侯，而非真正的天子。
唯有攻克洛陽，推翻西晉，才能號令天下，改朝換代。
於是，劉聰連續數次出兵洛陽，先後俘擄晉懷帝司馬熾和晉湣帝司馬鄴二帝，西晉王朝至此滅亡。
劉聰去世，兒子劉粲繼位。
可是令無數曆史學家都想不明白的是，集外公、嶽父於一身，位極人臣，一人之下，萬人之上的靳準突然發動政變，帶領親兵闖入後宮，一刀斬殺了劉粲。
當時中山王劉曜正在鎮守長安，聽聞靳準叛亂，於是親自率領軍隊由長安直赴平陽，將靳氏全族男女老少全部斬殺。
而後自立為帝，遷都長安，國號後漢，史稱前趙。
當初靳準殺害劉粲後，手持傳國玉璽，劉曜和石勒二人同時索要，但靳準的侄子靳明卻將傳國玉璽送於劉曜。
由此，劉曜和石勒二人生仇。
一山不容兩虎，前趙與後趙的戰爭一觸即發。
雙方會戰洛陽，劉曜兵敗被石勒所殺。
而後，石勒命侄子石虎進攻關中，生擒劉曜之子劉熙、劉胤及其將軍、郡王、公卿、校尉以下共3000多人，並將其全部殺害。
而後又將匈奴五部的諸王公和屠各種人共5000多人，押往洛陽，全部活埋，使得匈奴屠各種幾近亡族滅種。
後來，冉閔推翻後趙，儘斬石虎子孫，也算是為匈奴人報了一箭之仇。
這也是為什麼劉寧和劉崇兄弟二人誓死追隨冉閔的緣由。