小数是我国最早提出和使用的。早在公元三世纪，我国古代数学家刘微在解决一个数学难题时就提出了把整个位以下无法标出名称的部分称为微数。

小数的名称是公元十三世纪我国元代数字家朱世杰提出的。在十三世纪中我国出现了低一格表示小数的记法。

在西方，小数出现很晚。直到十六世纪，法国数学家克拉维斯首先用了小数点作为整数部分与小数部分分界的记号。