“小学”二字最早并不专指学校。西汉时称“文字学”为“小学”，唐宋以后又称“小学”为字学。读书必先识字，掌握字形、字音、字义，学会使用。

周朝儿童入学，首先学六甲六书（六甲指儿童练字用的笔画较简单的六组以甲起头的干支。六书即指事、象形、形声、会意、转注、假借），所以从前把“文字学”称“小学”，“小学”之名即由此而得。

盖小学者，国故之本，王教之端，上以推校先典，下以宜民便俗，岂专引笔画篆、缴绕文字而已。苟失其原，巧伪斯甚。——《国故论衡·小学概说》

小学，即中国的“传统语言文字学”，必须有“传统”二字，因为它不是指现代的语言文字学。通常说“小学”即文字、音韵、训诂，这样说是不甚合适的，因为小学的这“三门”原本是“浑然一体”的，文字、音韵、训诂不是孤立存在的，所以，这里这样强调一下。

中国于1915年改初等小学堂为国民学校，“以授以国民道德之基础及国民生活所必需之普通知识技能为本旨”。六岁入学，修业四年，毕业后视具体情况可升入高等小学校〔修业三年〕。

另设预备学校，同国民学校、高等小学校平行，“以施以初等普通教育、预备升入中学为本旨”。国民学校分前期〔四年〕和后期〔三年〕。

1922年，国民学校仍改为初等小学校，取消预备学校。1940年，国民政府实行所谓“管、教、养、卫一体”，规定各乡设中心国民学校（相当于中心小学），由乡长兼任乡壮丁队长和校长，各保设国民学校（相当于村小），校长由保长兼任