8.1.1 Ajustement des courbes par les moindres carrés

Dans la partie 7.1, une droite permettait de représenter les couples de données pression/densité de manière satisfaisante. Mais dans l’étude sur le béton de cendres volantes, une droite ne convenait pas aux couples de données phosphate d’ammonium/résistance à la compression. Cette section traite dans un premier temps de la possibilité d’ajuster des courbes plus complexes qu’une ligne droite à des données (x, y). À titre d’exemple, une étude sera menée pour trouver une équation plus pertinente pour décrire les données relatives au béton de cendres volantes.
.
L’équation linéaire
.
8.1.1.1                    y \approx \beta_{0}+\beta_1 x
.
se généralise naturellement par l’équation polynomiale
.
8.1.1.2                    y \approx \beta_{0}+\beta_1 x+\beta_2 x^2+\cdots+\beta_{k} x^{k}
.
L’ajustement par les moindres carrés de l’équation 8.1.1.2 pour un ensemble de n paires est conceptuellement à peine plus difficile que l’ajustement de l’équation 8.1.1.1. La fonction de k+1 variables
.
\begin{aligned} y & \approx \frac{1 }{ 2} g\left(t_0+\frac{ 1}{ 60}(x-1)\right)^2 \\ & =\frac{g}{ 2}\left(\frac{x}{ 60}\right)^2+g\left(t_0-\frac{ 1}{ 60}\right)\left(\frac{x}{ 60}\right)+\frac{g}{2 }\left(t_0-\frac{1 }{ 60}\right)^2 \\ & =\frac{g}{ 7200} x^2+\frac{g}{ 60}\left(t_0-\frac{1 }{ 60}\right) x+\frac{g}{2 }\left(t_0-\frac{1 }{ 60}\right)^2 \end{aligned}
.
doit être minimisée. En mettant les dérivés partielles de S\left(\beta_{0}, \beta_1, \ldots, \beta_{k}\right) égales à 0, on obtient l’ensemble des équations normales pour ce problème des moindres carrés, généralisant ainsi la paire d’équations de la partie 7.1. Il existe k+1 équations linéaires avec k+1 inconnues \beta_{0}, \beta_1, \ldots, \beta_{k}. Généralement, il existe un ensemble de solutions unique b_{0}, b_1, \ldots, b_{k}, qui minimise S\left(\beta_{0}, \beta_1, \ldots, \beta_{k}\right).
.

Exemple 8.1.1.1 Retour sur les données de cendres volantes 

Revenons à l’étude de B. Roth sur les cendres volantes et au tableau 7.1.3.1. Une équation quadratique pourrait être plus représentative des données qu’une équation linéaire. Utilisons le modèle d’équation 8.1.1.2 avec k=2 :
8.1.1.3                    y \approx \beta_{0}+\beta_1 x+\beta_2 x^2
pour les données du tableau 7.1.3.1. Les captures d’écran 8.1.1.1 et 8.1.1.2 montrent les résultats de Jupyter Notebook (basé sur Python) pour ce modèle de régression. (Après avoir saisi les valeurs x et y du tableau 8.1.1.2 en deux colonnes dans le data frame, une colonne supplémentaire a été créée en élevant les valeurs de x au carré, créant ainsi la variable x_sqr).  Ce Jupyter Notebook basé sur le langage Python est disponible sur le site GitHub du cours.
.
Ce Notebook peut également être consulté depuis le site interactif Binder Site, sur le site GitHub spécial « Fly_Ash Data Example ».
.
L’équation de régression est
y = 1,243e+03 + 382,7 x + -76,66 x_sqr
.

Capture d’écran 8.1.1.1 Ajustement quadratique des données sur les cendres volantes

.

Capture d’écran 8.1.1.2 Tableau ANOVA pour l’ajustement quadratique des données sur les cendres volantes.

.

L’équation quadratique d’ajustement est
.
\hat{y}=1 242,9+382,7 x-76,7 x^2
.
Sur la figure 8.1.1.1, on a superposé la courbe de régression au diagramme en nuage de points des données (x, y). Bien que la parabole ne soit pas représentative des données de Roth d’une manière tout à fait satisfaisante, elle suit beaucoup mieux la tendance des données que la droite tracée précédemment.
.

Figure 8.1.1.1 Diagramme en nuage de points, courbe de régression linéaire simple (bleu) et courbe de régression parabolique pour l’exemple des cendres volantes.

.

À la partie précédente, nous avons vu que lorsqu’on représente des données (x, y) par une droite, il est utile de quantifier la qualité de la régression linéaire au moyen de R^2. On peut aussi utiliser le coefficient de détermination lors d’une régression avec un polynôme de la forme de l’équation 8.1.1.2. Rappelons une fois de plus que selon la définition 3,
8.1.1.3  DÉFINITION et expression du coefficient de détermination
R^2=\frac{\sum\left(y_{i}-\bar{y}\right)^2-\sum\left(y_{i}-\hat{y}_{i}\right)^2}{\sum\left(y_{i}-\bar{y}\right)^2}
est la fraction de la variabilité totale en y prise en compte par la courbe de régression. Il est possible de calculer l’équation 8.1.1.3 à la main, mais la manière la plus simple de déterminer R^2 est bien entendu d’utiliser un outil de calcul statistique informatique.

Exemple 8.1.1.2 (suite)

Les captures d’écran ci-dessus montrent que l’équation\hat{y}=1242,9+382,7 x- 76,7 x^2 donne R^2=0,867. Donc 86.7 \%de la variabilité totale concernant la résistance à la compression est prise en compte par l’équation de régression quadratique. Le coefficient de corrélation entre les valeurs de résistance observées y_{i} et les valeurs de résistance ajustées \hat{y}_{i} est +\sqrt{0,867} = 0,93.

.

En comparant ce qui a été fait dans cette section à ce qui a été fait dans la partie 7.1, il est intéressant de noter que pour l’ajustement des données sur les cendres volantes par une droite, la valeur de R^2 était de -0,005 (à trois décimales). La régression quadratique constitue une amélioration remarquable par rapport à la régression linéaire pour représenter ces données.

.
Il est naturel de se demander « Et si on utilisait une version cubique de l’équation 8.1.1.2? » Les captures d’écran 8.1.1.3 et 8.1.1.4 présentent quelques résultats issus d’un calcul réalisé pour explorer cette possibilité, et la figure 8.1.1.2 présente la courbe de régression cubique superposée à un nuage de points des données. Les valeurs de x ont été élevées au carré et au cube pour obtenir les valeurs de x, x^2 et x^3 à utiliser pour la régression pour chaque valeur de y.
.

Capture d’écran 8.1.1.3 Régression cubique pour les données sur les cendres volantes.

.

Capture d’écran 8.1.1.4 Tableau ANOVA pour l’ajustement cubique des données sur les cendres volantes.

.

Figure 8.1.1.2 Diagramme en nuage de points et courbe d’ajustement par régression cubique (vert) pour les données sur les cendres volantes.

La valeur obtenue pour R^2 en utilisant une équation du troisième degré est de 0,952, soit un peu plus qu’en utilisant une équation du second degré. Mais la figure 8.1.1.2 montre clairement que même un polynôme du troisième degré ne permet pas d’obtenir une représentation totalement satisfaisante de ces données. Les courbes de régression quadratique et cubique présentées sur les figures 8.1.1.2 et 8.1.1.1 ne s’ajustent pas de manière satisfaisante avec les données de x = 2 \%. Malheureusement, il s’agit de la zone où la résistance à la compression est la plus importante – exactement la zone présentant le plus grand intérêt d’un point de vue pratique.

Cet exemple illustre le fait que R^2 n’est pas le seul élément à prendre en compte pour évaluer la pertinence du polynôme d’un modèle de régression, et qu’il faut également examiner les graphiques. Les diagrammes en nuage de points de y en fonction de x et les courbes de régression superposées peuvent être utiles, mais les graphiques des résidus aussi. Ceci peut être illustré avec un ensemble de données où la relation attendue entre y et x est presque parfaitement quadratique.

Exemple 8.1.1.3  Analyse des données lors du lâcher d’une masse 

Considérons à nouveau les données issues de la détermination expérimentale de l’accélération due à la gravité (avec la masse en acier), qui sont présentées dans la partie 1, et qui sont reproduites ici dans les deux premières colonnes du tableau 8.1.1.1. Rappelons que les positions y ont été enregistrées à intervalles de \frac{1 }{ 60} \mathrm{sec} à partir d’un instant t_{0} inconnu (inférieur à \frac{1 }{ 60} \mathrm{sec}) après que la masse soit lâche. Étant donné que la physique newtonienne prévoit que le déplacement de la masse vaut
.
\text { déplacement }=\frac{g t^2}
.
on s’attend à ce que
.
8.1.1.4
.
\begin{aligned} y & \approx \frac{1 }{ 2} g\left(t_0+\frac{ 1}{ 60}(x-1)\right)^2 \\ & =\frac{g}{ 2}\left(\frac{x}{ 60}\right)^2+g\left(t_0-\frac{ 1}{ 60}\right)\left(\frac{x}{ 60}\right)+\frac{g}{2 }\left(t_0-\frac{1 }{ 60}\right)^2 \\ & =\frac{g}{ 7200} x^2+\frac{g}{ 60}\left(t_0-\frac{1 }{ 60}\right) x+\frac{g}{2 }\left(t_0-\frac{1 }{ 60}\right)^2 \end{aligned}
.
C’est-à-dire que y est supposé avoir une relation approximativement quadratique avecx et, effectivement, le graphique des paires (x, y) de la figure de la partie 1 semble présenter ce caractère.
Une courte parenthèse : cette expression montre que si la régression des données du tableau 8.1.1.1 est réalisée avec une équation du second degré par la méthode des moindres carrés, on obtient l’expression
.
8.1.1.5                     \hat{y}=b_{0}+b_1 x+b_2 x^2
.
et la valeur expérimentale de g (en \mathrm{mm} / \mathrm{sec}^2 ) sera égale à 7200 b_2. C’est par cette méthode que la valeur 9.79 \mathrm{~m} / \mathrm{sec}^2, présentée à la section 1.4 a été obtenue.
.
\hat{y}=0,0645-0,4716 x+1,3597 x^2
.
(d’où g \approx 9790 \mathrm{~mm} / \mathrm{sec}^2 ) avec R^2 valant 1,0, à six décimales près. Dans le cas de cette régression, les résidus peuvent être déterminés en utilisant la définition 8.1.1.3. Ils sont présentés dans le tableau 8.1.1.1.  La figure 8.1.1.3 présente un graphique normal des résidus. Il est raisonnablement linéaire et ne présente donc rien de remarquable (à l’exception d’une légère suggestion selon laquelle le ou les deux résidus les plus importants ne sont peut-être pas aussi extrêmes qu’on pourrait le prévoir, une situation qui ne présente pas d’explication physique apparente).
.

Tableau 8.1.1.1 Données, valeurs ajustées, et résidus pour une régression quadratique du déplacement de la masse.

.

Figure 8.1.1.3 Graphique normal des résidus d’une régression quadratique pour le déplacement de la masse

.

Figure 8.1.1.4 Graphique des résidus pour le déplacement de la masse en fonction du numéro d’observation

.

Toutefois, un graphique des résidus en fonction de x (observations chronologiques) est intéressant. Ce type de graphique est présenté sur la figure 8.1.1.4; les points successifs ont été reliés par des segments de droite. La figure 8.1.1.4 laisse supposer l’existence d’une tendance cyclique dans les résidus. Les valeurs des déplacements observées sont à tour de rôle trop élevées, puis trop basses, puis trop élevées, etc. Il serait intéressant de regarder d’autres rubans expérimentaux pour voir si ce modèle cyclique apparaît de manière constante avant de se pencher sérieusement sur son origine. Mais si la tendance suggérée par la figure 8.1.1.4 réapparaissait systématiquement, cela indiquerait que quelque chose dans le mécanisme qui génère un courant à 60 Hz peut entraîner des cycles alternativement un peu plus courts et un peu plus longs que\frac{ 1}{ 60} \mathrm{sec}. Conséquence pratique de cette observation : si une mesure plus précise de altgalttitlegtitle était envisagée, il faudrait prendre en compte la régularité de la variation du courant \mathrm{AC}.

Que faire si un polynôme ne permet pas la régression de données (x, y)?

Les exemples 8.1.1.2 et 8.1.1.3 illustrent (respectivement) une représentation partiellement satisfaisante, puis une autre très satisfaisante, d’un ensemble de données (x, y) au moyen d’une équation polynomiale. Naturellement, des situations telles que celle de l’exemple 8.1.1.3 se présentent parfois, et il est raisonnable de s’interroger sur ce que l’on peut en tirer. Il convient de garder à l’esprit deux choses simples.
.
D’une part, bien qu’un polynôme puisse ne pas représenter de manière satisfaisante la relation entre x et y en tous points, il peut tout à fait être pertinent de manière locale, c’est-à-dire pour une plage relativement restreinte des valeurs de x. Par exemple dans l’étude des cendres volantes, la représentation quadratique de la résistance à la compression comme une fonction du pourcentage de phosphate d’ammonium n’est pas appropriée pour la plage 0 à 5 \%. Mais la région autour de 2 \% ayant été identifiée comme une zone d’intérêt particulier, il serait pertinent de mener une étude de suivi en se concentrant (par exemple) sur les données entre 1,5 % et 2,5 % de phosphate d’ammonium. Il est tout à fait possible qu’une régression quadratique réalisée uniquement pour la plage de données 1,5 \% \leq x \leq 2,5 \% soit satisfaisante et utile pour une synthèse de l’étude de suivi.
.
D’autre part, les termes x, x^2, x^3, \ldots, x^{k} de l’équation 8.1.1.2 peuvent être remplacés par n’importe quelle fonction (connue) de x et ce que nous avons dit ici restera inchangé pour l’essentiel.  Cela nous amène à considérer la transformation de termes pour parvenir à une régression plus satisfaisante.

Licence

Introduction aux méthodes statistiques en ingénierie© par C. Bassim et Bryan Lee. Tous droits réservés.

Partagez ce livre