Regresion Lineal

REGRESIÓN LINEAL SIMPLE El análisis de regresión es una técnica estadística para investigar la relación funcional entre dos o más variables, ajustando algún modelo matemático. La regresión lineal simple utiliza una sola variable de regresión y el caso más sencillo es el modelo de línea recta. Supóngase que se tiene un conjunto de n pares de observaciones (xi,yi), se busca encontrar una recta que describa de la mejor manera cada uno de esos pares observados.

y = 8.1185x - 6.6269 R2 = 0.7185

10 12 14 16 18 20 22 24

2.62.72.82.933.13.23.33.43.53.6

Xi (variable independiente o regresiva)

Variable respuest

Preparado por: Irene P. Valdez y Alfaro

Se considera que la variable Xes la variable independiente o regresiva y se mide sin error, mientras que Yes la variable respuesta para cada valor específico xide X; y además Yes una variable aleatoria con alguna función de densidad para cada nivel de X.

ix Y

() ix Y E

() ix Y f

yi

Preparado por: Irene P. Valdez y Alfaro

Modelo lineal simple :

x1xixn

()i ix x Y E 1 0 ββ + =

() ix Y f

i i i x y εβ β + + = 1 0 Regresión Lineal Simple

Los εise suponen errores aleatorios con distribución normal, media cero y varianza σ2; β 0y β 1son constantes desconocidas (parámetros del modelo de regresión) i i i x y εβ β + + = 1 0

Si la recta de regresión es:X Y1 0 ββ + = Cada valor yiobservado para un xipuede considerarse como el valor esperado de Y dado ximás un error:

Preparado por: Irene P. Valdez y Alfaro

Método de Mínimos Cuadrados para obtener estimadores de β 0y β 1 Consiste en determinar aquellos estimadores de β 0y β 1que minimizan la suma de cuadrados de los errores εi; es decir, los estimadores y de β 0y β 1respectivamente deben ser tales que: ∑

=

n

i

i

1

2 ε

∑− − = ∑ − − = + + = = = n i i n i i i i i i i x y x y x y 1

2

1 0

1

2

1 0

1 0

) ( ββ

ε

ββ

ε

εβ

β

Del modelo lineal simple: de donde:

elevando al cuadrado:

sea mínima.

0ˆ β

1ˆ β

Preparado por: Irene P. Valdez y Alfaro

Al derivar se obtiene un sistema de dos ecuaciones denominadas “ecuaciones normales”: 0 ) ( 0 ) (

1

2

1 0

1

1

2

1 0

0

= ∑ − − ∂ ∂

= ∑ − − ∂ ∂

=

= n

i

i

n

i

i

x y

x y

ββ

β

ββ

β

Según el método de mínimos cuadrados, los estimadores de β 0y β 1debe satisfacer las ecuaciones:

∑ = ∑ + ∑

∑ + = ∑

= = =

= =

n

i

i i

n

i

i

n

i

i

n

i

i

n

i

i

y x x x

x n y

1 1 2

1

1

0

1

1 0

1

ββ

ββ

n x

x

n x y

y x

x y

n

i i n

i

n

i

i

n

i i n

i

i i

i

2

1

1

2

1 1

1

1

1 0 ˆ ˆ ˆ

     ∑

− ∑

     ∑      ∑

− ∑

=

− =

=

=

= =

=

β

ββ

Cuya solución es:

Ahora, el modelo de regresión lineal simple ajustado (o recta estimada) es:x y1 0ˆ ˆ ˆ ββ + =

Preparado por: Irene P. Valdez y Alfaro

n x

x

n x y

y x

n

i i n

i

n

i

i

n

i i n

i

i i

i

2

1

1

2

1 1

1

1ˆ

     ∑

− ∑

     ∑      ∑

− ∑

=

=

=

= =

=

β

Con respecto al numerador y denominador de B1suelen expresarse como Sxyy Sxxrespectivamente:

xx

xy

S S

= 1ˆ β

Puede demostrarse que:() ∑− =      ∑

...