La précision d'une valeur numérique décrit le nombre de chiffres qui sont utilisés pour indiquer cette valeur. Dans un contexte scientifique, il s'agit du nombre total de chiffres (parfois appelés chiffres significatifs ou chiffres significatifs) ou, moins souvent, du nombre de chiffres fractionnaires ou de décimales (le nombre de chiffres suivant la virgule). Cette deuxième définition est utile dans les applications financières et d'ingénierie où le nombre de chiffres de la partie fractionnaire a une importance particulière.

Dans les deux cas, le terme "précision" peut être utilisé pour décrire la position à laquelle un résultat inexact sera arrondi. Par exemple, en arithmétique à virgule flottante, un résultat est arrondi à une précision donnée ou fixe, qui est la longueur du significand résultant. Dans les calculs financiers, un nombre est souvent arrondi à un nombre donné de positions (par exemple, à deux positions après le séparateur décimal pour de nombreuses devises mondiales).

Par exemple, la quantité décimale 12,345 peut être exprimée avec différents nombres de chiffres significatifs ou de décimales. Si la précision disponible est insuffisante, le nombre est arrondi d'une manière ou d'une autre pour correspondre à la précision disponible. Le tableau suivant montre les résultats pour diverses précisions totales et décimales arrondies à la valeur la plus proche en utilisant la méthode de l'arrondi au pair.

Notez qu'il n'est souvent pas approprié d'afficher un chiffre avec plus de chiffres que celui qui peut être mesuré. Par exemple, si un appareil mesure au gramme près et donne une lecture de 12,345 kg, il créerait une fausse précision si la mesure était exprimée "12,34500 kg" avec 2 zéros supplémentaires ("00") à la fin.

La représentation d'un nombre positif x à une précision de p chiffres significatifs a une valeur numérique qui est donnée par la formule

Pour un nombre négatif, la valeur numérique est moins celle de la valeur absolue. Le nombre 0, quelle que soit la précision, peut être considéré comme 0.