当时的太原一带，逃亡剩下的户不满 2万，人民饥荒，寇贼纵横，道路断塞，一片荒凉。刘琨失败后，在公元316年至396年的80年间，太原地区曾被当时称为“五胡”的匈奴、羯、鲜卑、氏、羌等少数民族创建的后赵、前燕、前秦、西燕、后燕交替攻占。太原人民长期处于兵荒马乱之中，遭受了数不清的灾难。 二、北魏隋唐时期，大约为公元523年至979年公元 396年，北魏王拓跋攻占晋阳，置并州。
公元 523年，高欢（又名贺六浑）掌握了北魏实权，他依据晋阳地形险要，城池坚固的优势，建立了大丞相府，有力地控制了北魏实权，称晋阳为“霸府”。公元 550年高欢的儿子高洋夺取了东魏政权，自立为帝，历史上称北齐，都城虽然设在邺（今河北临漳县），但仍以晋阳为基地，亦称为“别都”。由于高氏父子对晋阳有感情，十分重视对晋阳的修建。
公元 545年，高欢在晋阳修了晋阳宫；576年后主高纬修建了大明殿；577年幼主高恒修建了晋阳十二院，其壮观程度超过了邺城的皇宫。北齐统治为了游览还在晋祠修筑了读书台、望川亭、鱼沼、飞梁及“善利”、“难老”两个泉亭。与此同时，还在晋阳西山的天龙山和龙山修建了天龙寺、童子寺和法华寺，依山凿窟，雕刻石佛。
这就是保存至今的天龙山石窟艺术的最早开凿。这个时期，太原市的农业、商业也得到恢复发展。晋阳城内商业兴盛、市面繁荣，成了北齐的主要商埠。公元 581年隋朝建立。由于当时突厥称雄北方，为了抵御少数民族的侵扰，晋阳城成为北方军事重镇。隋文帝封他的次子杨广为晋王，驻守晋阳。公元 605年，杨广即位，他把晋阳作为他的“龙兴”之地，在北齐晋阳宫外，又筑起了高13米，周围 3.5公里的城墙，叫做新城，在城边修筑了高13米，周围 4公里的“仓城”，并且又修建了一座晋阳宫。
由于隋炀帝荒无道，大兴土木，各地均爆发了农民起义。公元 617年，太原留守李渊及其子李世民，从晋阳起兵，攻入长安，夺取了隋朝政权，于 618年建立了唐朝。由于李唐王朝对他们起兵夺取天下的发祥地十分重视，对晋阳城不断扩建，原来的晋阳城主要在汾河西岸，称为“都城”或“西城”，城中有大明城、晋阳宫和仓城，唐太宗李世民又派李绩在汾河东岸筑起了东城。
武则天在位时，并州刺史崔神庆又在东城、西城之间修建起了中城，正好跨在汾河之上。当时的都城与东、中城相连，称为太原三城。规模宏伟的晋阳——太原之城，成为唐朝的北方屏障。因为东城内井水苦涩难饮，还修筑了从西城把晋水架过汾河引到东城的引水工程，叫晋渠。其后，河东节度使马燧又修建了想东城引晋水工程，还潴成隍塘蓄水，又把汾水分出许多小流环城流绕，两旁都载上杨柳，进一步绿化、美化了城市。
