商丘的由来源于阏伯，阏伯为帝喾高辛氏之子，相传为帝喾后妃简狄吞燕卵而生，故《诗经商颂》云：“天命玄鸟，降而生商。”

。《左传》载：“陶唐氏之火正阏伯居商丘，祀大火，而火纪时焉。相土因之，故商主大火。”阏伯在公元前2800年，传说中的尧舜时代发明了以火纪时的历法，在管火的同时曾筑台观察星辰，以此为依据测定一年的自然变化和年成的好坏，为我国古老的天文学作出了贡献。

阏伯在他的封地“商”（今商丘）做火正，深受人民的爱戴，故人们尊他为“火神”。阏伯死后葬于封地，由于阏伯的封号为“商”，他的墓冢也被称为“商丘”，即今商丘的由来。

商丘古城拥有5000余年建城史、1500余年建都史。现存地上的归德府城于明朝弘治十六年（公元1503年）破土动工，历时八载，于明朝正德六年（公元1511年）竣工，距今已有500余年的历史。

现存归德府城之下同时叠压着明朝弘治十六年之前元朝时期修建的归德府城、北宋时期的陪都应天府南京城、隋唐时期的宋州治所宋城、秦汉时期的梁国国都睢阳城、周朝时期的宋国都城等6座都城、古城。

商丘古城是当今世界上现存的唯一一座集八卦城、水中城、城摞城三位一体的大型古城遗址。