韶山这个名字的由来非常久远，早在上古时期，三皇之一的虞舜开始南巡，途经此地时，见层峦叠嶂、山清水秀，便下令在此安营扎寨，欣赏这如画的美景。

当时，虞舜命令乐官演奏韶乐“九成”，不仅让当地百姓心悦神怡，更让百兽为之喝彩，因此留下了“箫韶九成，凤凰来仪”的记载，后人便将此地称为“韶山”，流传至今。

春秋战国之际，韶山几经易手，秦朝大一统之后，秦始皇在此地设立湘南县，韶山从此并入其中，成为湘南县辖区之一，历经两汉、三国、两晋等时期未曾改变。

隋朝开皇年间，将韶山从湘南县分出来，并入衡山县；唐朝天宝年间，衡山县更名为湘潭县，韶山区划未有变动，一直延续到宋朝。

元朝建立后，湘潭由县升州，明朝时期，又从州降为县，韶山被划分到湘潭风乡义居里。清朝建立后，韶山位列湘潭县第七都，毛主席出生时（1893年12月26日），就是在湘潭县七都韶山冲上屋场。

新中国成立后，韶山的行政区划迎来了密集的变动，首先是在1949年到1968年，韶山都是湘潭县的一个区，1968年到1980年，韶山先是成为湖南省政府直接管辖的地级行政区，而后又吸纳湘乡县的白田公社祝赞大队，又将原属于湘西县的韶山区统一合并，组成了韶山特别行政区。

进入90年代，韶山又改成县级市，属于湖南省直接管辖，由湘潭市代管，下辖6个乡2个镇。