Regresión Múltiple

Regresión múltiple

Los modelos de Regresión multivariable siguen siendo un análisis de regresión ya que estudia la relación entre variables y la determinación probable del comportamiento de un conjunto de datos muestrales, sin embargo, el análisis la regresión múltiple corresponde a una función y que supone dos o más variables independientes, es decir que está sujeta a dos o más parámetros (variables independientes explicativa) en relación con una variable dependiente (criterio, explicada)

Por tanto, un modelo de Regresión lineal múltiple corresponde a un hiperplano, pero que tiene que conservar su comportamiento lineal, esto es en un espacio k-dimensional de las variables independientes xp.

y=β_0+β_1 x+β_2 x_2+⋯+β_p x_p+ϵ

y. – Variable dependiente

x1, x2, …, xp. – Variables independiente

ϵ. - Término de error, variabilidad de la variable y

β0, β1, …, βp .- Parámetros poblacionales del modelo

La RLM tiene algunos inconvenientes como

- Dificultad para visualizar, al elevarse el número de variables

- Cálculos son más complejos ya que se realizan con medio computacionales especializados.

- La regresión múltiple exige una no colinealidad de las variables explicativas, es decir, la correlación entre las variables independientes es multicolineal

Se aplica algebra de matrices para calcular los parámetros matriciales. Para cual se estable un sistema de ecuaciones expresado de forma matricial

El modelo clásico de regresión lineal múltiple debe cumple con los siguientes supuestos.

1. Las variables independientes son no aleatorias.

2. Los errores ε tienen distribuciones normales

3. La varianza de la regresión es constante e igual a la varianza de los errores εi

4. Los errores son estadísticamente independientes; es decir, los residuos (εi) no están correlacionados.

5. Pueden existir relaciones significativas de dependencia lineal entre dos cualesquiera de las variables independientes, pero su correlación debe ser pequeña (colinealidad).

6. El número de observaciones de la muestra debe superar al número de coeficientes de

regresión que se deben estimar para garantizar que el número de grados de libertad sea

diferente de cero.

El cálculo de los estimadores, se determinan, por ejemplo, usando el método de MCO, ajustando los mejores valores para los coeficientes a través de la suma de cuadrados de residuos (SCR).

S_r=∑_(i=1)^n▒(y_i-β_0-β_1 x+β_2 x_2+⋯+β_p x_p )^2

Y derivando con respecto a cada uno de los coeficientes

(∂S_r)/(∂β_0 )=-2∑▒(y_i-β_0-β_1 x+β_1 x_2+⋯+β_p x_p )

(∂S_r)/(∂β_1 )=-2∑▒(y_i-β_0-β_1 x+β_1 x_2+⋯+β_p x_p )

(∂S_r)/(∂β_2 )=-2∑▒(y_i-β_0-β_1 x+β_1 x_2+⋯+β_p x_p )

⋮

(∂S_r)/(∂β_p )=-2∑▒(y_i-β_0-β_1 x+β_1 x_2+⋯+β_p x_p )

Los coeficientes que resultan de la suma mínima de la SCR se obtienen al igualar a cero las derivadas parciales y el resultado se expresa en forma matricial, por ejemplo, para una RLM de dos variables la matriz sería:

[■(n&∑▒x_1i &∑▒x_2i @∑▒x_1i &∑▒x_1i^2 &∑▒〖x_1i x_2i 〗@∑▒x_2i &∑▒〖x_1i x_2i 〗&∑▒x_2i^2 )][■(β_0@β_1@β_2 )]=[■(∑▒y_i @∑▒〖x_ii y_i 〗@x_ii y_i )]

Que se resuelve con algebra matricial o mediante programas computacionales.

Los coeficientes de regresión β2 y β3 también llamados coeficientes de regresión parcial, miden el cambio que ejercen las variables explicativas por unidad de variación y que genera un cambio en la variable Y.

Ahora de la misma forma, se aplica las derivadas parciales a la varianza y errores estándar de los estimadores para calcular estas misma en un análisis múltiple de regresión esto es:

var(β ̂_0 )=[1/n+(X ̅_1^2 ∑▒x_2i^2 +X ̅_2^2 ∑▒x_1i^2 -2X ̅_2 X ̅_3 ∑▒〖x_1i x_2i 〗)/(∑▒x_1i^2 ∑▒x_2i^2 -(∑▒〖x_1i x_2i 〗)^2 )]

var(β ̂_1 )=σ^2/(∑▒x_1i^2 r_12^2 )

var(β ̂_2 )=(∑▒x_1i^2 )/(∑▒x_1i^2 ∑▒〖x_2i^2-〗 (∑▒〖x_1i x_2i 〗)^2 ) σ^2

ee(β ̂_1 )=+√(var(β ̂_1 ) )

ee(β ̂_2 )=+√(var(β ̂_2 ) )

cov(β ̂_1,β ̂_2 )=(-r_12^2 σ^2)/((1-r_12^2 ) √(∑▒x_1i^2 ) √(∑▒x_2i^2 ))

R^2=(β ̂_1 ∑▒〖y_i x〗_1i +β ̂_2 ∑▒〖y_i x〗_2i )/(∑▒y_i^2 )

Coeficientes de correlación

El Coeficiente de correlación describe el grado de relación lineal entre dos o más variables, midiendo el también la dependencia entre estas. En sistemas multivariables el numero de coeficientes es igual al numero de variables,

...