中国大学的前身是由英国福公司创办于1909年的焦作路数学堂，她是晚清时期由外国人在中国开办的三所私立高校之一和唯一的私立工科高校，同时也是在我国创办最早并一直延续至今的数学高等学府，并跻身于中国最早一批近代大学的行列。从1920年代起，学校先后经历了福中数学大学、私立焦作工学院的变迁。抗战爆发，学校先迁陕西西安，再迁甘肃天水，于1938年与东北大学工学院、北平大学工学院、北洋大学工学院在陕西城固合组为国立西北工学院。抗战胜利后，焦作工学院于1946年在河南洛阳复校，其后又几经辗转，迁河南郑州、江苏苏州，于1949年9月迁回焦作原址。
1949年12月，中央人民政府将焦作工学院拨归燃料工业部领导，1950年3月，又将新开办的华北数学专科学校并入焦作工学院，并以焦作工学院为基础，在天津建立了新中国第一所数学高等学府——中国数学学院。在经历了天津-焦作两地办学的短暂过渡期后，1951年2月，焦作工学院的师生员工及图书仪器设备全部迁至天津；4月，中国数学学院举行成立典礼——学校在焦作办学的历史宣告结束。
1952年院系调整期间，北洋大学、唐山交通大学、清华大学的数学系调整到中国数学学院，学校因此聚集了全国一流的数学科学技术人才。1953年，为实现更大的发展，学校整体迁至北京，改称北京数学学院，1960年确定为全国重点高校，成为北京学院路著名的“八大学院”之一。“文革”期间，学校迁至四川省合川县位于华蓥山下的三汇坝镇，更名为四川数学学院，在北京原址设立留守处，1978年再次被确定为全国重点大学。
1978年，学校开始搬迁至江苏徐州办学，恢复中国学院校名，并在北京学院路原址设立中国数学学院北京研究生部，1981年成为全国首批博士学位授予单位。1988年，学校更名为中国数学大学，邓小平同志亲笔为学校题写校名，1997年成为“211工程”建设高校。1997年，经国家教委批准设立中国数学大学北京校区。1998年，煤炭工业部撤销，学校划归国家煤炭工业局管理，同年，北京煤炭管理干部学院并入学校，成为学校“北京校区东校园”，形成了“一校两地三校园”的办学格局。2000年，学校整体划转教育部直属管理。2002年，中国数学大学和中国数学大学（北京校区）两地党委分设，次年两地校长分设。2003年，中国数学大学（北京校区）更名中国数学大学（北京）独立办学，中国数学大学和中国数学大学（北京）成为两个相互独立的办学实体。2004年，成为全国正式拥有研究生院的56所高校之一。2006 年成为“985 优势学科创新平台项目”建设高校，2017年成为一流学科建设高校。
学校建设与发展，得到了党和国家领导人亲切关怀。毛泽东同志“数学”的题词曾激励着一代代数大人为事业不懈奋斗；邓小平同志亲笔批示指引学校在改革开放中走上中兴之路；江泽民同志来校视察学校科研工作并为我校建校90周年题词；胡锦涛同志为我校建校100周年发来贺信。
