Les erreurs statistiques et les résidus se produisent parce que la mesure n'est jamais exacte.

Il n'est pas possible de faire une mesure exacte, mais il est possible de dire à quel point une mesure est précise. On peut mesurer la même chose encore et encore, et rassembler toutes les données ensemble. Cela nous permet de faire des statistiques sur les données. Ce que l'on entend par erreurs et résidus, c'est la différence entre la valeur observée ou mesurée et la valeur réelle, qui est inconnue.

S'il n'y a qu'une seule variable aléatoire, la différence entre les erreurs statistiques et les résidus est la différence entre la moyenne de la population et la moyenne de l'échantillon (observé). Dans ce cas, le résidu est la différence entre ce que dit la distribution de probabilité et ce qui a été effectivement mesuré.

Supposons qu'il y ait une expérience pour mesurer la taille des hommes de 21 ans d'une certaine région. La moyenne de la distribution est de 1,75 m. Si un homme choisi au hasard mesure 1,80 m, l'"erreur (statistique)" est de 0,05 m (5 cm) ; s'il mesure 1,70 m, l'erreur est de -5 cm.

Un résidu (ou erreur d'ajustement), en revanche, est une estimation observable de l'erreur statistique non observable. Le cas le plus simple concerne un échantillon aléatoire de n hommes dont on mesure la taille. La moyenne de l'échantillon est utilisée comme une estimation de la moyenne de la population. Ensuite, nous avons :

  • La différence entre la taille de chaque homme de l'échantillon et la moyenne non observable de la population est une erreur statistique, et
  • La différence entre la taille de chaque homme dans l'échantillon et la moyenne observable de l'échantillon est un résidu.

La somme des résidus dans un échantillon aléatoire doit être égale à zéro. Les résidus ne sont donc pas indépendants. La somme des erreurs statistiques au sein d'un échantillon aléatoire ne doit pas nécessairement être égale à zéro ; les erreurs statistiques sont des variables aléatoires indépendantes si les individus sont choisis indépendamment dans la population.

En résumé :