隋开皇九年（589），撤并州县，祁阳、永昌二县并入零陵。唐武德四年（621），恢复建置，永昌县并入祁阳县，县域面积扩大了一倍，达到3800多平方公里。不久废县。唐贞观四年（630），重新恢复祁阳县，仍属零陵郡。同时，将县治迁至老山湾（今茅竹镇老山湾村和茶园村一带）。这时祁阳不仅版图扩大了，而且县治也迁到濒临湘江、交通方便的“四达之衢”的新址，经济、文化有了新的发展条件。其时手工制陶业最为发达；虽经“安史之乱”，而“湖湘尚宁”，以至唐末，经济、文化一直是发展的。
宋代祁阳隶属未变。元时属永州总管府。明清时期属永州府。由于老山湾地势低平，常受水浸，城区狭隘，不利发展，明景泰三年（1452）将县治迁至西北高埠檀山湾，今祁阳县城。自宋至清四朝，虽多有战乱，社会经济是向前发展的，至清乾隆年间，能向“湘潭、汉镇”岁输稻谷10万余担；而文化上历宋、元、明、清四代，一直称盛，共考取进士122人，举人129人。
康熙永州府志记载：祁阳县，汉武帝析长沙为零陵郡，祁阳乃泉陵地也，后汉因之。三国吴置祁阳县，隋改零陵县为永州，而祁阳并入零陵，不为县矣。唐李靖抚慰岭南，立祁阳为县，隶永州，历宋元明及国朝皆因之。编户一十四里。祁阳县袤一百三十五里，广一百九十里，东至衡州府常宁县界一百里，西至东安县界九十里，南至零陵县界三十五里，北至衡州府衡阳县界一百里。康熙年祁阳县领乡十四：坊廓乡，在城，旧名永兴。永隆乡，在县北。普乐乡，在县南。太平乡，在县北 .永昌乡，在县东北。上祁阳乡，在县东。下祁阳乡，在县东南。上归阳乡，在县东南。下归阳乡，在县东南。上和平乡，在县东北。下和平乡，在县东。上文明乡，在县北。下文明乡，在县治北，明景泰后始增。
