Regresion

1

2 El modelo de regresión simple: estimación y propiedades

Ezequiel Uriel

Universidad de Valencia

09-2013

2.1 Algunas definiciones en el modelo de regresión simple 1

2.1.1 El modelo de regresión poblacional y la función de regresión poblacional 1

2.1.2 La función de regresión muestral 3

2.2 Obtención de las estimaciones por Mínimos Cuadrados Ordinarios (MCO) 4

2.2.1 Diferentes criterios de estimación 4

2.2.2 Aplicación del criterio de mínimo cuadrados 6

2.3 Algunas características de los estimadores de MCO 8

2.3.1 Implicaciones algebraicas de la estimación 8

2.3.2 Descomposición de la varianza de y 9

2.3.3 Bondad del ajuste: Coeficiente de determinación (R2) 10

2.3.4 Regresión a través del origen 12

2.4 Las unidades de medida y la forma funcional 13

2.4.1 Unidades de medida 13

2.4.2 Forma funcional 14

2.5 Supuestos y propiedades estadísticas de los MCO 19

2.5.1 Supuestos estadísticos del MLC en regresión lineal simple 20

2.5.2 Propiedades deseables de los estimadores 22

2.5.3 Propiedades estadísticas de los estimadores MCO 23

Ejercicios 27

Anexo 2.1 Un caso de estudio: Curvas de Engel para la demanda de productos lácteos 34

Apéndices 40

Apéndice 2.1: Dos formas alternativas de expresar 2

ˆ

40

Apéndice 2.2. Demostración de que 2 2

rxy  R 41

Apéndice 2.3. Cambio proporcional versus cambio en logaritmos 41

Apéndice 2.4. Demostración de que los estimadores MCO son lineales e insesgados 42

Apéndice 2.5. Cálculo de la varianza de : 2

ˆ

43

Apéndice 2.6. Demostración del teorema de Gauss-Markov para la pendiente en la regresión

simple 43

Apéndice 2.7. Demostración de que 2   es un estimador insesgado de la varianza de las

perturbaciones 45

Apéndice 2.8. Consistencia de los estimadores de MCO 47

Apéndice 2.9 Estimación por máxima verosimilitud 48

2.1 Algunas definiciones en el modelo de regresión simple

2.1.1 El modelo de regresión poblacional y la función de regresión poblacional

En el modelo de regresión simple, el modelo de regresión poblacional o,

simplemente, el modelo poblacional es el siguiente:

1 2 y   x u (2-1)

Vamos a ver los diferentes elementos del modelo (2-1) y la terminología

utilizada para designarlos. En primer lugar, en el modelo hay tres tipos de variables: y, x

y u. En este modelo el único un factor explícito para explicar y es x. El resto de los

factores que afectan a y están recogidos en u.

Denominamos a y variable endógena (del griego: generada dentro) o variable

dependiente. Se utilizan también otras denominaciones para designar a y: variable

2

explicada o regresando. En este modelo todas estas denominaciones son equivalentes,

pero en otros modelos, como veremos más adelante, puede haber algunas diferencias.

En la regresión lineal simple de y sobre x, a la variable x se le denomina variable

exógena (del griego: generado fuera de) o variable independiente. Otras

denominaciones utilizadas también para designar a x son: variable explicativa, regresor,

covariable o variable de control. Todas estas denominaciones son equivalentes, pero en

otros modelos, como veremos más adelante, puede haber algunas diferencias.

La variable u recoge todos aquellos factores distintos de x que afectan a y. Es

denominada error o perturbación aleatoria. El término de perturbación puede captar

también el error de medición de la variable dependiente. La perturbación es una variable

no observable.

Los parámetros 1

y 2

 son fijos y desconocidos.

En el segundo miembro de (2-1) se pueden distinguir dos componentes: un

componente sistemático 1 2x    y la perturbación aleatoria u. Llamando 

y al

componente sistemático, podemos escribir:

y 1 2    x (2-2)

Esta ecuación es conocida como la función de regresión poblacional (FRP) o

recta poblacional. Por lo tanto, como puede verse en la figura 2.1, 

y es una función

lineal de x con término independiente igual a 1

 y pendiente igual a 2

 .

La linealidad significa que un aumento de una unidad en x implica que el valor

esperado de y - ( ) y E y m  - varíe en 1

 unidades.

Ahora, supongamos que disponemos de una muestra aleatoria de tamaño n {(yi,

xi): i = 1, ...,n} extraída de la población estudiada. En el diagrama de dispersión de la

figura 2.2, se muestran los hipotéticos valores de la muestra.

FIGURA 2.1. La función de regresión poblacional.

(FRP)

FIGURA 2.2. Diagrama de dispersión.

El modelo poblacional para cada observación de la muestra se puede expresar de

la siguiente forma:

1 2 1,2, , i i i y    x u i   n (2-3)

y

x

1 2 i x     

y

x































3

En la figura 2.3 se ha representado conjuntamente la función de regresión

poblacional y el diagrama de dispersión, pero es importante no olvidar que 1

 y 2

 son

fijos, pero desconocidos. De acuerdo con este modelo es posible, desde un punto de

vista teórico, hacer la siguiente descomposición:

yi   yi  ui i 1, 2,, n (2-4)

que ha sido representada en la figura 2.3 para la observación i-ésima. Sin embargo,

desde un punto de vista empírico, no es posible hacerlo debido a que 1

 y 2

 son

desconocidos y, consecuentemente, i u es no observable.

2.1.2 La función de regresión muestral

El objetivo principal del modelo de regresión es la determinación o estimación

de 1

y 2

 a partir de una muestra dada.

La función de regresión muestral (FRM) es la contrapartida de la función de

regresión poblacional (FRP). Dado que la FRM se obtiene para una muestra dada, una

nueva muestra generará otra estimación distinta.

La FRM, que es una estimación de la FRP, viene dada por

1 2

ˆ ˆ ˆ i i y   x (2-5)

y permite calcular

...