相传秦时，距东海西150公里的于越境内，有一对颜姓父子，父亲名叫颜凤，儿子叫颜乌。两人从山东避乱南下。有一次，颜乌在行乞途中发现了一个小岩石洞，洞内面积不大，但冬暖夏凉。

夏天，岩石洞内的蚊子渐渐多了起来，聪明孝顺的颜乌每天傍晚，颜乌总是先将父亲背到洞外乘凉，然后他自己回到洞里，赤身裸体躺下，那些又大又狠的蚊子嗡嗡地围住颜乌“狂轰滥炸”。

过了个把时辰，等蚊子饱食后都心满意足地“撤退”了，颜乌才起身把老父亲背回洞中睡觉。颜乌的孝顺行为感动了栖在岩洞口的一窝乌鸦，这些乌鸦见了蚊子就吃，后来洞中的蚊子竟没了。

颜乌有时要饭回来，也会省下一点食物来喂给乌鸦吃。父子俩和乌鸦竟成了好邻居。颜乌的父亲死后，成千上成万只乌鸦朝颜乌父子飞来，每只乌鸦的颈上都围着白色的丧圈。

乌鸦在颜乌父子的头顶上转了几圈后，又向西北方向飞去，它们从1公里外的黄土地上衔来泥块，堆放到颜凤的身上……傍晚时分，乌鸦筑起了一座高高大大的坟墓。

后来孝子颜乌死后，乌鸦又在其父坟墓旁衔土葬之。人们在这里建起了祠堂，称为孝子祠。为了纪念那些筑坟受伤的正义的乌鸦，人们把这一带地方叫做乌伤。

秦始皇平定江南后，这里建县名“乌伤”，公元624年，称“义乌”。