前身就是中国最早的专业音乐院校——哈尔滨第一音乐学校。

音乐的长足发展离不开音乐教育的发展，20世纪20年代三座里程碑式的俄侨音乐教育学校（哈尔滨第一高等音乐学校，1921年5月；

哈尔滨格拉祖诺夫音乐学校，1925年7月；哈尔滨音乐学校，1927年10月，后为哈尔滨苏联高等音乐学校）的诞生，为哈尔滨这座四处荡漾着音乐之风的城市开了音乐教育的先河。

三座早期垦荒式的音乐学校的建立虽然仅仅只是为了满足当时在哈俄侨音乐教育的需要，但是的确为哈尔滨的音乐之风的发展和普及营造出了一种文化氛围，而且培养出了一大批的中国早期的音乐学者和具有一定的音乐欣赏水平和音乐素质的音乐爱好者和音乐受众，为后期哈尔滨音乐事业的发展和最终成为中国的“音乐之城”完成了最初的城市文化积累，也为后期的哈尔滨艺术学院及其音乐系的建立奠定一定的基础。

百年哈尔滨早期的音乐教育活动中的中国自己音乐教育机构的缺席，是一件让人倍感遗憾的事情。直到1958年——新中国成立9年后的8月，在日渐紧张的政治局势背景下，在哈尔滨——这座跳跃着音符的城市里在苗石、魏中柯、陈振昆等几位老前辈的奔走和呼告下，百难之中哈尔滨成立了哈尔滨历史上第一所中国自己的音乐教育机构——哈尔滨艺术学院音乐系。

当时的音乐系主要分为作曲、民乐、西洋管弦、声乐、钢琴五个专业，并聘请了大量蜚声国内外的专家和学者来哈任教。其中有作曲家汪立三、王杨、蒋祖馨、刘时任等。