其间，华罗庚聆听了苏联数学家柯尔莫哥洛夫和亚历山大罗夫为参加数学竞赛的师生所作的演讲，主题是关于对称性和复虚数。随后，在仔细地考察了苏联进行数学竞赛的情况后，他兴奋异常，认为这正是中国需要的。
从苏联回国后，华罗庚开始构思未来中国数学发展的道路。10年后，他与数学家苏步青按照IMO的形式，开始倡导在中国开展数学竞赛。1956年，北京、上海、天津、武汉、宁波等城市分别举办了中学生数学竞赛，这是奥数在中国最早的阶段。
不过，“文革”开始后，数学竞赛因被冠以“封、资、修”的名号而取消。1978年，中国迎来“科学的春天”后，首届全国八省市数学竞赛开赛。第二年，八省市数学竞赛扩展为全国数学竞赛。同时，中国也接到了IMO的邀请。
随着中国数学会普及工作委员会的成立，所有与会代表都认为，要以数学竞赛为普及的手段，但是重在参与，竞赛成绩并不重要。而大规模的数学竞赛因为耗费太多人力、物力也并不被政府看好。因此，对IMO的邀请，我国迟迟没有参与。
直到1985年，有人询问中国代表团，为什么所有的大国都参加IMO，但中国作为安理会常任理事国却一直不参加，中国政府才当即决定参加当年的IMO。
随后几年，越来越好的IMO成绩加速了数学竞赛在中国的快速发展。1990年，第31届IMO来到了中国，大批奥林匹克教练员和业余奥数培训班如雨后春笋般成长起来。
20多年来，随着小升初就近入学、中高考加分保送等政策的出台，奥数渐渐偏离了原有的轨道，沦为学生追求升学、学校择优录取的工具。
紧急刹车
奥数考试的弊端逐渐引起重视。2010年，教育部宣布取消“奥数保送加分”，获得全国中学生奥林匹克竞赛相关奖项的高中生不再具备高校招生保送资格。全国各地教育部门也制定了政策，北京、广东、河北、浙江等地纷纷出台有关规定和措施，试图降低奥数在升学中的决定性作用。
2004年，广东省教育厅专门下发通知，规定义务教育阶段学校入学和转学一律不得对学生进行任何形式的考试、测试或变相考试、测试，也不得以小学阶段各类学科比赛、竞赛（包括奥数竞赛）成绩作为入学和转学的依据。通知明确要求，各类考试应与奥数脱钩。
2011年，广东取消了中考奥数加分项目。
同年，北京市教委发出通知，禁止区县教委、学校等教育机构组织义务教育阶段学生参与学科竞赛。
而2009年，成都市针对“疯狂奥数”的措施在全国引发了一场风暴。当年，成都教育局出台文件，拟“从‘五个禁止’入手彻底封杀奥数”。其中，包括禁止义务教育阶段所有形式的奥数培训和竞赛、与入学挂钩的选拔性考试、教师参与有偿补习等。同时，还规定小学考试也一律实行无分数评价。
今年，成都市进一步加大了整治奥数的力度，规定奥数获奖中考不加分。
