Página principal

Regresión lineal múltiple


Descargar 129.52 Kb.
Fecha de conversión23.09.2016
Tamaño129.52 Kb.






Regresión lineal múltiple

J. M. Rojo Abuín

Instituto de Economía y Geografía

Madrid, II-2007


Índice


I. Introducción 2

II. El Modelo de regresión lineal múltiple 5

III. Hipótesis 6

IV. Estimación de los parámetros por mínimos cuadrados 7

V. Varianza residual 11

VI. Contraste de regresión 13

VII. Coeficiente de determinación R2 16

VIII. Diagnosis y validación de un modelo de regresión lineal múltiple 17

VIII.1. Multicolinealidad 17

VIII.2. Análisis de residuos 18

VIII.3. Valores de influencia (leverage) 20

VIII.4. Contrastando las hipótesis básicas 21

VIII.5. Homocedasticidad 22

VIII.6. Errores que deben de evitarse 23

IX. Selección de las variables regresoras 24

X. Ejemplo 1 25






  1. Introducción

En el capitulo anterior se ha estudiado el modelo de regresión lineal simple, donde se analizaba la influencia de una variable explicativa X en los valores que toma otra variable denominada dependiente (Y).

En la regresión lineal múltiple vamos a utilizar más de una variable explicativa; esto nos va a ofrecer la ventaja de utilizar más información en la construcción del modelo y, consecuentemente, realizar estimaciones más precisas.
Al tener más de una variable explicativa (no se debe de emplear el término independiente) surgirán algunas diferencias con el modelo de regresión lineal simple.
Una cuestión de gran interés será responder a la siguiente pregunta: de un vasto conjunto de variables explicativas: x1, x2, …, xk, cuáles son las que más influyen en la variable dependiente Y.
En definitiva, y al igual que en regresión lineal simple, vamos a considerar que los valores de la variable dependiente Y han sido generados por una combinación lineal de los valores de una o más variables explicativas y un término aleatorio:

Los coeficientes son elegidos de forma que la suma de cuadrados entre los valores observados y los pronosticados sea mínima, es decir, que se va a minimizar la varianza residual.
Esta ecuación recibe el nombre de hiperplano, pues cuando tenemos dos variables explicativas, en vez de recta de regresión tenemos un plano:

Con tres variables explicativas tendríamos un espacio de tres dimensiones, y así sucesivamente.


Vamos a ir introduciendo los elementos de este análisis a través de un sencillo ejemplo.
Consideramos una muestra de personas como la que sigue a continuación:


Registro

sexo

estatura

l_roxto

pie

l_brazo

a_espald

d_cráneo

peso

 

 

X1

X6

X2

X3

X4

X5

Y

1

mujer

158

39

36

68

43

55

43

2

mujer

152

38

34

66

40

55

45

3

mujer

168

43

39

72.5

41

54.5

48

4

mujer

159

40

36

68.5

42

57

49

5

mujer

158

41

36

68.5

44

57

50

6

mujer

164

40

36

71

44.5

54

51

7

mujer

156

41

36

67

36

56

52

8

mujer

167

44

37

73

41.5

58

52

En base a estos datos, vamos a construir un modelo para predecir el peso de una persona (Y). Esto equivale a estudiar la relación existente entre este conjunto de variables y la variable peso (Y).


En primer lugar tenemos que la variable dependiente es el peso; y las variables que vamos a utilizar para predecir el peso reciben el nombre de variables independientes o explicativas.
En la práctica deberemos de elegir cuidadosamente qué variables vamos a considerar como explicativas. Algunos criterios que deben de cumplir serán los siguientes:


  • Tener sentido numérico.



  • No deberá de haber variables repetidas o redundantes



  • Las variables introducidas en el modelo deberán de tener una cierta justificación teórica.



  • La relación entre variables explicativas en el modelo y casos debe de ser como mínimo de 1 a 10.



  • La relación de las variables explicativas con la variable dependiente debe de ser lineal, es decir, proporcional.



  1. El Modelo de regresión lineal múltiple

El modelo de regresión lineal múltiple es idéntico al modelo de regresión lineal simple, con la única diferencia de que aparecen más variables explicativas:


Modelo de regresión simple:

Modelo de regresión múltiple:

Siguiendo con nuestro ejemplo, si consideramos el peso como variable dependiente y como posibles variables explicativas:


  • estatura

  • pie

  • l_brazo

  • a_espald

  • d_craneo

El modelo que deseamos construir es:



Al igual que en regresión lineal simple, los coeficientes b van a indicar el incremento en el peso por el incremento unitario de la correspondiente variable explicativa. Por lo tanto, estos coeficientes van a tener las correspondientes unidades de medida.


  1. Hipótesis

Para realizar un análisis de regresión lineal múltiple se hacen las siguientes consideraciones sobre los datos:




  1. Linealidad: los valores de la variable dependiente están generados por el siguiente modelo lineal:







  1. Homocedasticidad: todas las perturbaciones tienen las misma varianza:







  1. Independencia: las perturbaciones aleatorias son independientes entre sí:







  1. Normalidad: la distribución de la perturbación aleatoria tiene distribución normal:







  1. Las variables explicativas Xk se obtienen sin errores de medida.

Si admitimos que los datos presentan estas hipótesis entonces el teorema de Gauss-Markov establece que el método de estimación de mínimos cuadrados va a producir estimadores óptimos, en el sentido que los parámetros estimados van a estar centrados y van a ser de mínima varianza.





  1. Estimación de los parámetros por mínimos cuadrados

Vamos a calcular un hiperplano de regresión de forma que se minimice la varianza residual:




Donde:


Utilizando notación matricial:

Y teniendo en cuenta la definición de :


Por lo tanto:


Por lo tanto la varianza residual se puede expresar de la siguiente forma:



Es decir:

Por tanto, la varianza residual es una función del vector de parámetros b y la condición para que tenga un mínimo será:

Antes de derivar vamos a simplificar la expresión de la varianza residual:



Por lo tanto:




Igualando a cero y despejando:

y si es matriz no singular y por lo tanto tiene inversa, tenemos:

Multiplicando por




Ésta es la expresión del estimador de parámetros B .
Además






Es decir, los residuos obtenidos del modelo estimado por mínimos cuadrados no van a estar correlacionados con las variables explicativas.
Nota
Es importante observar que si las variables explicativas X están muy correlacionadas entre si, la matriz va a tener el determinante con valor cero o muy cercano a cero.

Si hay al menos una variable que puede ser expresada como combinación lineal del resto (ingresos mensuales, ingresos anuales) el determinante de esta matriz es cero y dicha matriz será singular y por lo tanto no tendrá inversa.


Si no hay variables que sean combinación lineal de las demás, pero están fuertemente correlacionadas, el determinante no será cero pero tendrá un valor muy próximo a cero; este caso va a producir una inestabilidad en la solución del estimador, en general, se va a producir un aumento en su varianza.
En estos casos se impone la utilización de un método de selección de variables explicativas.
A los problemas provocados por la fuerte correlación entre las variables explicativas se les llama multicolinealidad.


  1. Varianza residual

Al igual que en el caso de regresión lineal simple, vamos a descomponer la variabilidad de la variable dependiente Y en dos componentes o fuentes de variabilidad: una componente va a representar la variabilidad explicada por el modelo de regresión y la otra componente va a representar la variabilidad no explicada por el modelo y, por tanto, atribuida a factores aleatorios.


Consideramos la variabilidad de la variable dependiente como:

Es decir, la variabilidad de Y es la suma cuadrática de los valores que toma la variable respecto a la media de la variable.
Sumando y restando el valor pronosticado por el modelo de regresión obtenemos la siguiente expresión:

Es decir, que la suma de cuadrados de la variable Y respecto a su media se puede descomponer en términos de la varianza residual. De esta expresión se deduce que “la distancia de Y a su media se descompone como la distancia de Y a su estimación más la distancia de su estimación a la media”.
Teniendo en cuenta que el último término representa la varianza no explicada, tenemos:

Gráficamente es fácil ver la relación:

Dividiendo la variabilidad total entre sus grados de libertad obtenemos la varianza de la variable dependiente Y :



Dividiendo la variabilidad no explicada entre sus grados de libertad obtenemos la varianza residual de la variable dependiente Y :

Tabla resumen





Suma de cuadrados

Grados de libertad



VT



n-1



VE



k-1




VNE



n-k-1








  1. Contraste de regresión

Como estamos sacando conclusiones de una muestra de un conjunto mucho más amplio de datos, a veces este conjunto será infinito, es obvio que distintas muestras van a dar distintos valores de los parámetros.


Un caso de especial interés es asignar una medida de probabilidad a la siguiente afirmación o hipótesis:

La afirmación contraria sería:

Nota

La hipótesis nula es que todos los coeficientes menos son nulos y la hipótesis alternativa o complementaria es que existe al menos uno que es distinto de 0, puede haber varios que sean nulos, pero al menos existe uno distinto de cero.


Se denomina contraste de regresión al estudio de la posibilidad de que el modelo de regresión sea nulo, es decir, los valores de las variables explicativas X no van a influir en la variable Peso.

Construcción del contraste
Si los residuos siguen una distribución normal y , tenemos que:






Por tanto:

Es decir, el cociente entre la varianza explicada y la varianza no explicada será aproximadamente 1. Además, al seguir una distribución F, podemos asignar una medida de probabilidad (p-value) a la hipótesis de que la varianza explicada es igual a la varianza no explicada.
En caso contrario la varianza no explicada será muy inferior a la varianza explicada y, por lo tanto, este cociente tendrá un valor muy superior a 1.
Nota
En general si el p-value es menor de 0.05 se acepta que el modelo de regresión es significativo; en caso contrario no podemos hablar de regresión, pues el modelo sería nulo.

Si aceptamos que el modelo de regresión es significativo, es habitual mostrar el p-value; por ejemplo:




Encontramos que este modelo de regresión es estadísticamente significativo con un

p-value de 0.0003






  1. Coeficiente de determinación R2

Vamos a construir un coeficiente (estadístico) que mida la bondad del ajuste del modelo. Si bien la varianza residual () nos indica cómo están de cerca las estimaciones respecto de los puntos, esta varianza está influida por la varianza de la variable dependiente, la cual, a su vez, está influida por su unidad de medida. Por lo tanto, una medida adecuada es la proporción de la varianza explicada (VE) entre la varianza total (VT); de este modo, definimos el coeficiente de determinación :



Por ser cociente de sumas de cuadrados, este coeficiente será siempre positivo.

Si todos los puntos están sobre la recta de regresión, la varianza no explicada será 0, y por lo tanto:



Este coeficiente es muy importante pues determina qué porcentaje (en tantos por uno) de la varianza de la variable dependiente es explicado por el modelo de regresión.
En general, se pueden clasificar los valores de de la siguiente manera:


Menor de 0.3

0.3 a 0.4

0.4 a 0.5

0.5 a 0.85

Mayor de 0.85

Muy malo

Malo

Regular

Bueno

Sospechoso

Además, a diferencia de la varianza residual, este coeficiente es adimensional; esto quiere decir que no está afectado por transformaciones lineales de las variables; por ello, si cambiamos las unidades de medida, el coeficiente de determinación permanecerá invariante.






  1. Diagnosis y validación de un modelo de regresión lineal múltiple


VIII.1. Multicolinealidad
Si las variables explicativas se pueden expresar como una combinación lineal:

Se dice que tenemos un problema de multicolinealidad.
En general, este problema va a afectar incrementando la varianza de los estimadores.
Este problema se detecta fácilmente:

  • Solicitando el determinante de la matriz de varianzas-covarianzas, que estará cercano a cero.




  • Calculando el cociente entre el primer y último autovalor de la matriz de varianzas-covarianzas que será mayor de 50.




  • Calculando para cada variable el coeficiente de determinación () de dicha variable con el resto.

La solución es eliminar del modelo aquellas variables explicativas que dependen unas de otras. En general, los métodos de selección de variables solucionan automáticamente este problema.





En esta tabla se muestra el valor de los estimadores del hiperplano de regresión.
La columna denominada tolerancia es:

Donde la variable correspondiente entra como variable dependiente y el resto de las variables explicativas actúan como regresoras.
A la vista de estos resultados, la variable estatura esta provocando problemas de multicolinealidad.
Es interesante observar que si bien el contraste de regresión es significativo, ninguna de las variables explicativas lo es.

VIII.2. Análisis de residuos
Definimos como residuo del i-esimo caso a:

Los residuos son variables aleatorias que siguen (¿?) una distribución normal. Los residuos tienen unidades de medida y, por tanto no se puede determinar si es grande o pequeño a simple vista.
Para solventar este problema se define el residuo estandarizado como:

Se considera que un residuo tiene un valor alto, y por lo tanto puede influir negativamente en el análisis, si su residuo estandarizado es mayor de 3 en valor absoluto.

Para evitar la dependencia entre numerador y denominador de la expresión anterior, también se utilizan los residuos estudentizados.

Donde es la varianza residual calculada sin considerar el i-esimo caso.
El análisis descriptivo y el histograma de los residuos nos indicarán si existen casos que no se adapten bien al modelo lineal.




Podemos observar que hay un caso que tiene un residuo anormal, pues su valor tipificado es 3.49.



VIII.3. Valores de influencia (leverage)
Se considera que una observación es influyente a priori si su inclusión en el análisis modifica sustancialmente el sentido del mismo.

Una observación puede ser influyente si es un outlayer respecto a alguna de las variables explicativas:









Para detectar estos problemas se utiliza la medida de Leverage:



Este estadístico mide la distancia de un punto a la media de la distribución.

Valores cercanos a 2/n indican casos que pueden influir negativamente en la estimación del modelo introduciendo un fuerte sesgo en el valor de los estimadores.



VIII.4. Contrastando las hipótesis básicas
Normalidad de los residuos.
Para verificar esta hipótesis se suele utilizar el histograma de los residuos y en caso necesario el test de Kolgomorov Smirnov.







En este caso no se detecta falta de normalidad, el pvalue del test KS es de 0.852, por lo tanto se concluye que:


No se encuentran diferencias estadísticamente significativas para rechazar la hipótesis de normalidad.
VIII.5. Homocedasticidad
La hipótesis de homocedasticidad establece que la variabilidad de los residuos es independiente de las variables explicativas.

En general, la variabilidad de los residuos estará en función de las variables explicativas, pero como las variables explicativas están fuertemente correlacionadas con la variable dependiente, bastara con examinar el gráfico de valores pronosticados versus residuos al cuadrado.


Este es un claro ejemplo de falta de homocedasticidad.


Existe una familia de transformaciones denominada Box-CCOS que se realizan sobre la variable dependiente encaminadas a conseguir homocedasticidad. La transformación más habitual para conseguir homocedasticidad es:

En cualquier caso, es conveniente examinar detenidamente las implicaciones de realizar este tipo de transformaciones, pues en muchas ocasiones es peor el remedio que la enfermedad, ya que la variable dependiente puede llegar a perder el sentido.
VIII.6. Errores que deben de evitarse
Errores que son fáciles pasar por alto al realizar un modelo de regresión lineal múltiple son los siguientes:


  • No controlar el factor tamaño.




  • Si hay un factor de ponderación, no tenerlo en cuenta.




  • Al calcular los grados de libertad en los contrastes de hipótesis.




  • No incluir una variable relevante en el modelo.




  • Incluir una variable irrelevante.




  • Especificar una relación lineal que no lo es.





  1. Selección de las variables regresoras

Los procedimientos para seleccionar las variables regresoras son los siguientes:

  • Eliminación progresiva.

  • Introducción progresiva.

  • Regresión paso a paso (Stepwise Regression).

Este último método es una combinación de los procedimientos anteriores. Parte del modelo sin ninguna variable regresora y en cada etapa se introduce la más significativa, pero en cada etapa examina si todas las variables introducidas en el modelo deben de permanecer. Termina el algoritmo cuando ninguna variable entra o sale del modelo.




  1. Ejemplo 1



















El mismo análisis pero utilizando un algoritmo de selección de variables.














La base de datos está protegida por derechos de autor ©espanito.com 2016
enviar mensaje