Regresión Lineal, Simple Y Correlacional

Estadística Inferencial II.

PROFESOR: L.A. Isaac Vázquez Esqueda.

UNIDAD 1: Regresión Lineal Simple y Correlación.

ALUMNA: Kate Aleidy Ramírez Valenzuela.

No. De Control: 11560097.

Cd. Y Pto. Lázaro Cárdenas, Michoacán 03/Septiembre/2013.

.

UNIDAD 1: REGRESIÓN LINEAL SIMPLE Y CORRELACIÓN.

1.1 MODELO DE REGRESIÓN SIMPLE.

El modelo de regresión más sencillo es el Modelo de Regresión Lineal Simple que estudia la relación lineal entre la variable respuesta y la variable regresora , a partir de una muestra i = 1n, que sigue el siguiente modelo:

Por tanto, es un modelo de regresión paramétrico de diseño fijo. En forma matricial:

Dónde: t = , t = , t = , t = .

Se supone que se verifican las siguientes hipótesis:

La función de regresión es lineal,

o, equivalentemente, E = 0, i = 1,...,n.

La varianza es constante (homocedasticidad),

o, equivalentemente, V ar = 2, i = 1,...,n.

La distribución es normal,

o, equivalentemente, i ~ N , i = 1,...,n.

Las observaciones Y i son independientes. Bajo las hipótesis de normalidad, esto equivale a que la Cov(Y i,Y j) = 0, si i j.

Esta hipótesis en función de los errores sería “los i son independientes”, que bajo normalidad, equivale a que Cov = 0, si i j.

ESTIMACIÓN DE LOS PARÁMETROS DEL MODELO.

En el modelo de regresión lineal simple hay tres parámetros que se deben estimar: los coeficientes de la recta de regresión, 0 y 1; y la varianza de la distribución normal, 2. El cálculo de estimadores para estos parámetros puede hacerse por diferentes métodos, siendo los más utilizados el método de máxima verosimilitud y el método de mínimos cuadrados.

Método de máxima verosimilitud:

Conocida una muestra de tamaño n , de la hipótesis de normalidad se sigue que la densidad condicionada en yi es

y, por tanto, la función de densidad conjunta de la muestra es,

Una vez tomada la muestra y, por tanto, que se conocen los valores de i = 1n, se define la función de verosimilitud asociada a la muestra cómo sigue:

Esta función (con variables 0, 1 y 2) mide la verosimilitud de los posibles valores de estas variables en base a la muestra recogida.

El método de máxima verosimilitud se basa en calcular los valores de 0, 1 y 2 que maximizan la función y, por tanto, hacen máxima la probabilidad de ocurrencia de la muestra obtenida. Por ser la función de verosimilitud una función creciente, el problema es más sencillo si se toman logaritmos y se maximiza la función resultante, denominada función soporte,

Maximizando la anterior se obtienen los siguientes estimadores máximo verosímiles,

Donde se ha denotado e a las medias muéstrales de X e Y, respectivamente; sx2 es la varianza muestral de X y sXY es la covarianza muestral entre X e Y.

MÉTODO DE MÍNIMOS CUADRADOS.

A partir de los estimadores: 0 y 1, se pueden calcular las predicciones para las observaciones muéstrales, dadas por,

O, en forma matricial,

Donde t = . Ahora se definen los residuos como

ei = yi - i, i = 1,2,...,n,

Residuo = Valor observado -Valor previsto,

En forma matricial,

Los estimadores por mínimos cuadrados se obtienen minimizando la suma de los cuadrados de los residuos, esto es, minimizando la siguiente función,

Derivando e igualando a cero se obtienen las siguientes ecuaciones, denominadas ecuaciones canónicas,

De donde se deducen los siguientes estimadores mínimo cuadráticos de los parámetros de la recta de regresión

Se observa que los estimadores por máxima verosimilitud y los estimadores mínimos cuadráticos de 0 y 1 son iguales. Esto es debido a la hipótesis de normalidad y, en adelante, se denota 0 = 0,MV = 0,mc y 1 = 1,MV = 1,mc.

PROPIEDADES DE LOS ESTIMADORES.

De la primera ecuación canónica se deduce que la recta de regresión pasa por el punto que es el centro geométrico de la nube de datos.

El estimador 1 es la pendiente de la recta regresión, se denomina coeficiente de regresión y tiene una sencilla interpretación, indica el crecimiento (o decrecimiento) de la variable respuesta Y asociado a un incremento unitario en la variable regresora X.

Utilizando las hipótesis de normalidad e independencia se obtiene que la distribución del estimador 1 es una normal de media 1 y varianza . Ésto es,

Por tanto la V ar

- disminuye al aumentar n,

- disminuye al aumentar sx2

- disminuye al disminuir 2.

El estimador 0 indica el valor de la ordenada en la recta de regresión estimada para x = 0 tiene menor importancia y, en muchos casos, no tiene una interpretación práctica. La distribución de 0 es una normal de media 0 y varianza + = .

Esto es,

Por tanto la V ar

- disminuye al disminuir V ar (disminuye al aumentar n o al aumentar sx2

o al disminuir 2).

- disminuye al disminuir 2.

Nuevamente, utilizando las hipótesis de normalidad e independencia se obtiene que la distribución del estimador máximo-verosímil de 2, viene dado por

De las ecuaciones canónicas se deduce que los residuos verifican que i = 1nei = 0 y i = 1neixi = 0. Por tanto, el número de grados de libertad de los residuos es n - 2 porque hay n residuos relacionados por dos ecuaciones. De donde

y MV 2 es un estimador consistente pero sesgado. Por este motivo, como estimador de 2 se utiliza la varianza residual, R2 definida como la suma de residuos al cuadrado dividida por el número de grados de libertad

R2 es un estimador consistente e insesgado.

La relación entre los dos estimadores de la varianza es

Para tamaños muéstrales grandes, ambos estimadores, MV 2 y R2 toman valores muy próximos.

La distribución de la varianza residual viene dada por

A partir de este estadístico se pueden obtener intervalos de confianza de la varianza poblacional, 2. Con nivel de confianza 1 - el intervalo de confianza es

En la práctica, de la distribución

...