Investigación : U5 Análisis de regresión y correlación

Instituto Tecnológico de Tepic

Probabilidad y estadística

investigación : U5 Análisis de regresión y correlación

Maestro: Hugo Ibarra López

equipo: Luis Enrique Jaramillo Ortiz

Tepic Nay. A 1° de junio del 2013

REGRESIÓN LINEAL SIMPLE

Introducción

Uno de los aspectos más relevantes de la Estadística es el análisis de la relación o dependencia entre variables. Frecuentemente resulta de interés conocer el efecto que una o varias variables pueden causar sobre otra, e incluso predecir en mayor o menor grado valores en una variable a partir de otra. Por ejemplo, supongamos que la altura de los padres influyen significativamente en la de los hijos. Podríamos estar interesados en estimar la altura media de los hijos cuyospadres presentan una determinada estatura.

Los métodos de regresión estudian la construcción de modelos para explicar o representar la dependencia entre una variable respuesta o dependiente (Y) y la(s) variable(s) explicativa(s) o dependiente(s), X . En este Tema abordaremos el modelo de regresión lineal, que tiene lugar cuando la dependencia es de tipo lineal, y daremos respuesta a dos cuestiones básicas:

• ¿Es significativo el efecto que una variable X causa sobre otra Y? ¿Es significativa la dependencia lineal entre esas dos variables?.

• De ser así, utilizaremos el modelo de regresión lineal simple para explicar y predecir la variable dependiente (Y) a partir de valores observados en la independiente (X).

Ejemplo .-. El inventor de un nuevo material aislante quiere determinar la magnitud de la compresión (Y ) que se producirá en una pieza de 2 pulgadas de espesor cuando se somete a diferentes cantidades de presión (X). Para ello prueba 5 piezas de material bajo diferentes presiones. Los pares de valores observados (x, y) se muestran en la siguiente tabla:

. REGRESIÓN LINEAL SIMPLE

En principio no sabemos si las variables en cuestión están relacionadas o no,

o si en caso de haber dependencia es significativa o no. De haber entre ellas una

dependencia lineal significativa, podríamos expresar la Compresión (Y ) a partir

de la Presión (X) mediante una recta, y a partir de ella predecir la compresión

que se daría para un determinado nivel de presión.

Una forma de determinar si puede existir o no dependencia entre variables, y

en caso de haberla deducir de qué tipo puede ser, es gráficamente representando

los pares de valores observados. A dicho gráfico se le llama nube de puntos o

diagrama de dispersión.

Ejemplos de casos que podrían darse:

En a) hay ausencia de relación (independencia).

En b) existe asociación lineal positiva (varían en general en el mismo sentido).

En c) existe asociación lineal negativa (varían en sentido contrario).

En d) existe fuerte asociación, pero no lineal.

El modelo de regresión lineal

La estructura del modelo de regresión lineal es la siguiente:

Y = β0 + β1X + ε

En esta expresión estamos admitiendo que todos los factores o causas que influyen en la variable respuesta Y pueden dividirse en dos grupos: el primero contiene a una variable explicativa X y el segundo incluye un conjunto amplio de factores no controlados que englobaremos bajo el nombre de perturbación o error aleatorio, ε, que provoca que la dependencia entre las variables dependiente e independiente no sea perfecta, sino que esté sujeta a incertidumbre. Por ejemplo,

en el consumo de gasolina de un vehículo (Y ) influyen la velocidad (X) y una serie de factores como el efecto conductor, el tipo de carretera, las condiciones ambientales, etc, que quedarían englobados en el error. Lo que en primer lugar sería deseable en un modelo de regresión es que

estos errores aleatorios sean en media cero para cualquier valor x de X, es decir,

E[ε/X = x] = E[ε] = 0, y por lo tanto:

E[Y /X = x] = β0 + β1x + E[ε/X = x] = β0 + β1x

En dicha expresión se observa que:

• La media de Y, para un valor fijo x, varía linealmente con x.

• Para un valor x se predice un valor en Y dado por ˆ y = E[Y /X = x] = β0 + β1x, por lo que el modelo de predicción puede expresarse también como Y = β0 + β1X.

• El parámetro β0 es la ordenada al origen del modelo (punto de corte con el eje Y) y β1 la pendiente, que puede interpretarse como el incremento de la variable dependiente por cada incremento en una unidad de la variable independiente. Estos parámetros son desconocidos y habrá que estimarlos de cara a realizar predicciones.

Además de la hípotesis establecida sobre los errores de que en media han de

ser cero, se establecen las siguientes hipótesis:

ii) La varianza de ε es constante para cualquier valor de x, es decir,

V ar(ε/X = x) = σ2

iii) La distribución de ε es normal, de media 0 y desviación σ.

iv) Los errores asociados a los valores de Y son independientes unos de otros.

En consecuencia, la distribución de Y para x fijo es normal, con varianza

constante σ2, y media que varía linealmente con x, dada por β0 +β1x. Además

los valores de Y son independientes entre sí.

9.3 Estimación de los parámetros del modelo

Partimos de una muestra de valores de X e Y medidos sobre n individuos:

(x1, y1), (x2, y2), ..., (xn,yn),

y queremos estimar valores en Y según el modelo

ˆ

Y = β0 + β1X, donde β0

y β1 son por el momento desconocidos. Debemos encontrar entonces de entre

iv CAPÍTULO 9. REGRESIÓN LINEAL SIMPLE

todas las rectas la que mejor se ajuste a los datos observados, es decir, buscamos

aquellos valores de β0 y β1 que hagan mínimos los errores de estimación. Para

un valor xi, el modelo estima un valor en Y igual a ˆ

yi = β0 + β1xi y el valor

observado en Y es igual a yi, con lo cual el error de estimación en ese caso

vendría dado por ei = yi −

ˆ

yi = yi − (β0 + β1xi). Entonces tomaremos como

estimaciones de β0 y β1 , que notamos por

ˆ

β0 y

ˆ

β1, aquellos valores que hagan

mínima la suma de los errores al cuadrado, que viene dada por:

SSE =

Xn

i=1

e2i

=

Xn

i=1

yi − (β0 + β1xi)2

De ahí que al método de estimación se le llame método de mínimos cuadrados.

La solución se obtiene

...