Regreción Lineal Multiple

Varianza Residual

Vamos a descomponer la variabilidad de la variable dependiente Y en dos componentes o fuentes de variabilidad: una componente va a representar la variabilidad explicada por el modelo de regresión y la otra componente va a representar la variabilidad no explicada por el modelo y, por tanto, atribuida a factores aleatorios.

Consideramos la variabilidad de la variable dependiente como:

n*σ^2=∑▒〖(y_i-Y)^2 〗

Es decir, la variabilidad de Y es la suma cuadrática de los valores que toma la variable respecto a la media de la variable. Sumando y restando el valor pronosticado por el modelo de regresión obtenemos la siguiente expresión:

∑▒〖〖(y_i-ȳ)〗^2=∑▒〖〖(ŷ_i-ȳ)〗^2+∑▒〖(y_i-ŷ_i)〗^2 〗〗

Es decir, que la suma de cuadrados de la variable Y respecto a su media se puede descomponer en términos de la varianza residual. De esta expresión se deduce que “la distancia de Y a su media se descompone como la distancia de Y a su estimación más la distancia de su estimación a la media”.

Teniendo en cuenta que el último término representa la varianza no explicada, tenemos:

VT=VE+VNE

Relación Grafica:

Dividiendo la variabilidad total entre sus grados de libertad obtenemos la varianza de la variable dependiente Y:

S_Y^2=VT/(n-1)

Dividiendo la variabilidad no explicada entre sus grados de libertad obtenemos la varianza residual de la variable dependiente Y:

S_R^2=VNE/(n-(k+1))

Tabla.

Suma de Cuadrados Grados de Libertad

VT ∑▒〖(y-ȳ)〗^2 n-1 S_Y^2=VT/((n-1))

VE ∑▒〖(ŷ-ȳ)〗^2 k-1

VNE ∑▒〖(y-ŷ)〗^2 n-k-1 S_R^2=VNE/(n-k-1))

Contraste De Regresión

Como estamos sacando conclusiones de una muestra de un conjunto mucho más amplio de datos, a veces este conjunto será infinito, es obvio que distintas muestras van a dar distintos valores de los parámetros.

Un caso de especial interés es asignar una medida de probabilidad a la siguiente afirmación o hipótesis:

H_0≡b_1=b_2=⋯=b_k=0

La afirmación contraria sería:

H_1≡∃b_j≠0

Nota

La hipótesis nula es que todos los coeficientes menos b0 son nulos y la hipótesis alternativa o complementaria es que existe al menos uno que es distinto de 0, puede haber varios que sean nulos, pero al menos existe uno distinto de cero.

Se denomina contraste de regresión al estudio de la posibilidad de que el modelo de regresión sea nulo, es decir, los valores de las variables explicativas X no van a influir en la variable Peso.

Construcción del contraste

Si los residuos siguen una distribución normal y b_1=b_2=⋯=b_k=0 , tenemos que:

VT/σ^2 ≈χ_(n-1)^2

VE/σ^2 ≈χ_1^2

VNE/σ^2 ≈χ_(n-(k+1))^2

Por lo tanto:

(VE/1)/(VNE/(n-(k+1)))=VE/(S_R^2 )≈F_(1,n-(k+1))

Es decir, el cociente entre la varianza explicada y la varianza no explicada será aproximadamente 1. Además, al seguir una distribución F, podemos asignar una medida de probabilidad (p-value) a la hipótesis de que la varianza explicada es igual a la varianza no explicada.

En caso contrario la varianza no explicada

...