Minimos Cuadrados

Ajuste de Curvas. Regresión por Mínimos Cuadrados

Método de los Mínimos Cuadrados

Dado un conjunto de n pares de datos de la forma (xi, yi), el Método de los Mínimos Cuadrados, consiste en encontrar la ecuación de la recta: y=a0+a1x, que pasa lo más cerca posible de los puntos experimentales, de tal forma, que éstos estén distribuidos de manera uniforme alrededor de la recta.

El método de ajuste por mínimos cuadrados o regresión lineal, permite obtener la pendiente a1 y la ordenada a0 en el origen, correspondientes a la recta y=a0+a1x, que mejor se ajusta a los n datos (xi, yi), es decir, permite establecer una relación funcional entre dos variables x e y; dónde x es la variable independiente e y es la variable dependiente. La expresión matemática de la recta se corresponde con la siguiente ecuación:

y=a0+a1x+e

Donde, a0 y a1 son coeficientes que representan, como se dijo anteriormente, la intersección con el eje y y, la pendiente de la recta respectivamente.

e es, el error o residuo, entre las observaciones y el modelo.

e= y-(a0x+a1)

Representando la diferencia entre el valor real de y y, el valor aproximado a0x+a1, que predijo la ecuación de la recta.

Criterio para un mejor ajuste

Para ajustar una “mejor” línea a través de los datos es necesario minimizar la suma de los errores residuales de todos los datos disponibles. Otro criterio lógico podría ser, minimizar la suma de los valores absolutos de las discrepancias. Sin embargo, La estrategia que supera las deficiencias de los procedimientos mencionados consiste en minimizar la suma de los cuadrados de los residuos entre la y medida y la y calculada con el modelo lineal.

S_r=∑_(i=1)^n▒〖e_i^2=〖(y_i-a_0-a_1 x_i)〗^2 〗

Este criterio tiene varias ventajas, entre ellas el hecho de que se obtiene una línea única para cierto conjunto de datos.

Ajuste de una línea recta por mínimos cuadrados

Para determinar los valores de los coeficientes a0 y a1, la ecuación de Sr se deriva respecto a cada uno de ellos, las expresiones obtenidas se igualan a cero a fin de minimizar la suma de los residuos Sr. Posteriormente, se resuelve el sistema de ecuaciones lineales simultáneas para obtener:

a_1=(n∑▒〖x_i y_i-∑▒〖x_i ∑▒y_i 〗〗)/(n∑▒x_i^2 -〖(∑▒〖x_i)〗〗^2 )

a_0=¯y-a_1 ¯x

Donde, ¯x y ¯y son, los valores promedio de los datos x e y, respectivamente.

Cuantificación del error en la regresión lineal

Una “desviación estándar” Sy, para la línea de regresión se determina de la siguiente manera:

S_(y/x)=√(S_r/(n-2))

Sy/x se denomina error estándar del estimado y cuantifica la dispersión alrededor de la línea de regresión.

Para cuantificar la bondad del ajuste realizado, se determina St , es decir, la suma total de los cuadrados alrededor de la media para la variable dependiente y. Ésta expresa la magnitud del error residual asociado con la variable dependiente antes de la regresión. Después de realizar la regresión, calculamos Sr, es decir, la suma de los cuadrados de los residuos alrededor de la línea de regresión. Esto caracteriza el error residual que queda después de la regresión. La diferencia entre estas dos cantidades, St – Sr, cuantifica la mejora o reducción del error por describir los datos en términos de una línea recta en vez de un valor promedio.

r^2=(S_(t-) S_r)/S_t →r=√(r^2 )

Donde, r2 se conoce como el coeficiente de determinación y r es el coeficiente de correlación. En un ajuste perfecto, Sr = 0 y r = r2 = 1, significa que la línea explica el 100% de la variabilidad de los datos. Si r = r2 = 0, Sr = St , el ajuste no representa mejora alguna.

Regresión Polinomial

Anteriormente, se desarrolló un procedimiento para obtener la ecuación de una línea recta por medio del criterio de mínimos cuadrados. En ingeniería, aunque algunos datos exhiben un patrón marcado, son pobremente representados por una línea recta, entonces, una curva podrá ser más adecuada para ajustarse a los datos. Un método para lograr este objetivo es ajustar polinomios a los datos mediante regresión polinomial.

El procedimiento de mínimos cuadrados se puede extender fácilmente al ajuste de datos con un polinomio de grado superior. Por ejemplo, suponga que ajustamos un polinomio de segundo grado o cuadrático:

y=a0+a1x+a2x2+ e

En este caso, la suma de los cuadrados de los residuos es:

S_r=∑_(i=1)^n▒〖(y_i-a_0-a_1 x_i-a_2 x_i^2)〗^2

Derivando respecto de cada uno de los coeficientes a0, a1 y a2. Se igualan a cero y se resuelve un sistema de tres ecuaciones lineales simultáneas, en el que las incógnitas serías los coeficientes anteriormente indicados. Este caso bidimensional, se puede extender a un polinomio de m-ésimo grado, de la siguiente manera:

y=a0+a1x+a2x2+…+ amxm e

Así, para determinar los coeficientes de un polinomio de m-ésimo grado es equivalente a resolver un sistema de m + 1 ecuaciones lineales simultáneas. En este caso, el error estándar se formula como sigue:

S_(y/x)=√(S_r/(n-(m+1)))

También se calcula un coeficiente de determinación r2, para la regresión polinomial con la ecuación anteriormente formulada. Es decir:

r^2=(S_(t-) S_r)/S_t

Código en Matlab

clc

...