Regresión lineal múltiple

85.687 visualizaciones

Publicado el

2 comentarios
16 recomendaciones
Estadísticas
Notas
Sin descargas
Visualizaciones
Visualizaciones totales
85.687
En SlideShare
0
De insertados
0
Número de insertados
2.838
Acciones
Compartido
0
Descargas
1.558
Comentarios
2
Recomendaciones
16
Insertados 0
No insertados

No hay notas en la diapositiva.

Regresión lineal múltiple

  1. 1. Modelo general de regresión lineal múltiple
  2. 2. Variables <ul><li>Y : </li></ul><ul><ul><li>Variable dependiente </li></ul></ul><ul><ul><li>Variable endógena </li></ul></ul><ul><ul><li>Variable explicada </li></ul></ul><ul><li>X j : </li></ul><ul><ul><li>Variables exógenas </li></ul></ul><ul><ul><li>Variables independientes </li></ul></ul><ul><ul><li>Variables explicativas </li></ul></ul>Sólo una Al menos una
  3. 3. Ejemplo de ilustración
  4. 4. Ejemplo de ilustración <ul><li>Y : Ingresos del supermercado </li></ul><ul><li>X 1 : Habitantes del municipio del supermercado </li></ul><ul><li>X 2 : Superficie del supermercado (m 2 ) </li></ul>
  5. 5. Tabla de datos Ingresos (Y) Habitantes (X1) Superficie (X2) 198 70 21 209 35 26 197 55 14 156 25 10 85 28 12 187 43 20 43 15 5 211 33 28 120 23 9 62 4 6 176 45 10 117 20 8 273 56 36
  6. 6. Modelo de regresión lineal Ejemplo de ilustración <ul><li>Deseamos explicar los ingresos del supermercado ( Y ), mediante la población del municipio ( X 1 ) y la superficie del supermercado ( X 2 ). </li></ul><ul><li>Si la relación existente entre las variables fuera de tipo lineal utilizaríamos la siguiente expresión: </li></ul>
  7. 7. Modelo de regresión lineal (II) Ejemplo de ilustración <ul><li>Pero la relación entre las variables no es necesariamente perfecta. Por ese motivo añadimos un elemento aleatorio a cada observación: </li></ul>
  8. 8. Modelo de regresión lineal (III) Ejemplo de ilustración Renta de los habitantes Medio rural o urbano ... Edad promedio de los habitantes Variables que no hemos considerado
  9. 9. Modelo de regresión lineal (IV) Ejemplo de ilustración <ul><li>Es el término constante del modelo y es desconocido. </li></ul><ul><li>Son los coeficientes desconocidos de la combinación lineal. </li></ul><ul><li>Es el i-ésimo término de error (desconocido) </li></ul>
  10. 10. Modelo de regresión lineal (V) Ejemplo de ilustración <ul><li>Es el término constante del modelo y es desconocido. </li></ul><ul><li>Son los coeficientes desconocidos de la combinación lineal. </li></ul><ul><li>Es el i-ésimo término de error (desconocido) </li></ul>
  11. 11. Modelo de regresión lineal (VI) Ejemplo de ilustración <ul><li>Es el término constante del modelo y es desconocido. </li></ul><ul><li>Son los coeficientes desconocidos de la combinación lineal. </li></ul><ul><li>Es el i-ésimo término de error (desconocido) </li></ul>
  12. 12. Modelo de regresión lineal (VII) Ejemplo de ilustración <ul><li>Este sistema de ecuaciónes: </li></ul><ul><ul><li>Consta de 13 ecuaciones y 16 incógnitas. </li></ul></ul><ul><ul><li>Tiene infinitas soluciones. </li></ul></ul><ul><li>Podemos asignar valores arbitrarios a cualesquiera tres incógnitas y calcular las demás. </li></ul>
  13. 13. Especificación del modelo Ejemplo de ilustración <ul><li>Así lo haremos: </li></ul><ul><ul><li>Nuestro objetivo es que los valores de las incógnitas sean lo más pequeños posible. </li></ul></ul><ul><ul><li>Determinaremos cuáles son los valores más adecuados de los coeficientes del modelo para alcanzar este objetivo. </li></ul></ul><ul><ul><li>Llamaremos residuos a los valores que toman las incógnitas en la solución del sistema de ecuaciones. </li></ul></ul>
  14. 14. Especificación del modelo(II) Ejemplo de ilustración <ul><li>Dicho de otro modo: </li></ul><ul><ul><li>queremos encontrar valores concretos para las incógnitas a los que llamaremos </li></ul></ul><ul><ul><li>Estos valores concretos consiguen que los valores de las incógnitas sean lo más pequeños posible. </li></ul></ul>
  15. 15. Especificación del modelo(III) Ejemplo de ilustración <ul><li>Para minimizar los residuos de manera global emplearemos la siguiente expresión: </li></ul><ul><li>Es decir, debemos encontrar los valores de los coeficientes que minimizan la suma de los cuadrados de los residuos . </li></ul><ul><li>A este criterio se le llama de los “ mínimos cuadrados ”. </li></ul>
  16. 16. Especificación del modelo(IV) Ejemplo de ilustración Deseamos minimizar esta suma
  17. 17. Especificación del modelo (V) Ejemplo de ilustración <ul><li>Por tanto, la solución del sistema de ecuaciones será la siguiente: </li></ul><ul><ul><li>Las incógnitas tomarán los valores . Estos valores consiguen que los valores de las icógnitas sean lo más pequeños posible. </li></ul></ul><ul><ul><li>Las incógnitas tomarán los valores </li></ul></ul>
  18. 18. Modelo de ajuste lineal Ejemplo de ilustración <ul><li>Después de calcular los valores de los parámetros de la combinación lineal, podremos construir el modelo de ajuste lineal : </li></ul><ul><li>Los valores calculados para la variable dependiente mediante el modelo de ajuste lineal serán los llamados valores estimados . </li></ul>
  19. 19. Modelo de ajuste lineal (II) Ejemplo de ilustración <ul><li>A la diferencia entre los valores observados y los valores estimados para la variable dependiente los llamamos residuos: </li></ul>
  20. 20. ¡Cuidado! <ul><li>Es muy importante distinguir los residuos de los errores : </li></ul><ul><ul><li>Los errores son cantidades desconocidas y aleatorias. Miden el efecto de las variables que no hemos tomado en cuenta. </li></ul></ul><ul><ul><li>Los residuos , por el contrario, son valores conocidos. Miden las diferencias entre los valores observados y los valores estimados de la variable dependiente. </li></ul></ul>
  21. 21. Estimación de los parámetros Ejemplo de ilustración <ul><li>Recordemos: </li></ul><ul><ul><li>Queremos encontrar unos valores concretos para las incógnitas . </li></ul></ul><ul><ul><li>Estas estimaciones consiguen que los valores concretos de las incógnitas -a los que llamamos - sean lo más pequeños posible. </li></ul></ul>
  22. 22. Estimación de los parámetros (II) Ejemplo de ilustración   Ecuaciones normales (3 ecuaciones, 3 incógnitas)
  23. 23. Estimación de los parámetros (III) Ejemplo de ilustración   <ul><li>Empleando matrices: </li></ul>
  24. 24. Estimación de los parámetros (IV) Ejemplo de ilustración   <ul><li>En nuestro ejemplo de ilustración: </li></ul>
  25. 25. Caso general
  26. 26. Modelo de regresión lineal Caso general <ul><li>Cuando tenemos más de dos variables explicativas: </li></ul><ul><li>Empleando matrices: </li></ul>
  27. 27. Modelo de regresión lineal (II) Caso general
  28. 28. Modelo de regresión lineal (III) Caso general <ul><li>Podemos expresar el modelo de regresión lineal de un modo más sencillo: </li></ul>Modelo de regresión lineal n ecuaciones n+k+1 incógnitas
  29. 29. Modelo de regresión lineal (IV) Caso general
  30. 30. Especificación del modelo Caso general <ul><ul><li>Nuestro objetivo es conseguir que los valores de las incógnitas sean lo más pequeños posible. </li></ul></ul><ul><ul><li>Buscaremos los valores de los coeficientes del modelo que resulten los más adecuados de cara a cumplir con el objetivo planteado. </li></ul></ul><ul><ul><li>A los valores que en la solución del sistema de ecuaciones toman las inógnitas los llamaremos residuos. </li></ul></ul>
  31. 31. Especificación del modelo (II) Caso general <ul><li>Expresado de otro modo: </li></ul><ul><ul><li>Deseamos encontrar un vector , que es un valor concreto del vector . </li></ul></ul><ul><ul><li>Este vector concreto consigue que los valores de las incógnitas sean lo más pequeños posible. </li></ul></ul>
  32. 32. Esepecificación del modelo (III) Caso general <ul><li>Por lo tanto, la solución del sistema de ecuaciones será la siguiente: </li></ul><ul><ul><li>El vector tomará el valor . Este valor del vector consigue que el valor del vector sea mínimo. </li></ul></ul><ul><ul><li>El vector tomará el valor </li></ul></ul>
  33. 33. Especificación del modelo (IV) Caso general <ul><li>Para minimizar los residuos de manera global emplearemos la siguiente expresión: </li></ul><ul><li>Es decir, tenemos que encontrar los valores de los coeficientes del modelo que hacen mínima la suma de los cuadrados de los residuos. </li></ul><ul><li>A este criterio se le da el nombre de “ criterio de los mínimos cuadrados ”. </li></ul>
  34. 34. Modelo de ajuste lineal Caso general <ul><li>Cuando tenemos más de dos variables explicativas: </li></ul><ul><li>Empleando matrices: </li></ul>
  35. 35. Modelo de ajuste lineal (II) Caso general <ul><li>Podemos expresar el modelo de ajuste lineal de una forma más sencilla: </li></ul>Modelo de ajuste lineal
  36. 36. Modelo de ajuste lineal (III) Caso general
  37. 37. Modelo de ajuste lineal (IV) Caso general <ul><li>El valor estimado de la variable dependiente para un individuo será el siguiente: </li></ul><ul><li>Con: </li></ul>
  38. 38. Estimación de los parámetros Caso general <ul><li>Recordemos: </li></ul><ul><ul><li>Queremos encontrar un vector de valores concretos para el vector . </li></ul></ul><ul><ul><li>Este vector debe ser tal que minimice globalmente los residuos. </li></ul></ul>
  39. 39. Estimación de los parámetros (II) Caso general <ul><li>Teniendo en cuenta que: </li></ul><ul><li>Derivando respecto a B: </li></ul>
  40. 40. Estimación de los parámetros (III) Caso general <ul><li>Igualando la derivada a cero: </li></ul><ul><li>Si la matriz es no singular: </li></ul>
  41. 41. Estimación de los parámetros (IV) Caso general <ul><li>¿La solución que se ha encontrado consigue minimizar la SCR? </li></ul><ul><li>Supongamos que es otra solución. Entonces: </li></ul>
  42. 42. Datos centrados
  43. 43. Modelo de ajuste Datos centrados <ul><li>Cuando las variables explicativas toman sus respectivos valores promedio el valor estimado para la variable dependiente es su media: </li></ul><ul><li>Es decir, el hiperplano del modelo de ajuste pasa por la media de las variables. </li></ul>
  44. 44. Modelo de ajuste (II) Datos centrados <ul><li>Por lo tanto podemos escribir el modelo de ajuste lineal de otro modo: </li></ul><ul><li>O empleando matrices: </li></ul>
  45. 45. Modelo de ajuste (III) Datos centrados <ul><li>Con: </li></ul>
  46. 46. Estimación de los parámetros Datos centrados <ul><li>Recordemos: </li></ul><ul><ul><li>Para encontrar el vector debemos minimizar de manera global los residuos. </li></ul></ul>
  47. 47. Estimación de los parámetros (II) Datos centrados <ul><li>Teniendo en cuenta que: </li></ul><ul><li>Dervando respecto a B: </li></ul>
  48. 48. Estimación de los parámetros (III) Datos centrados <ul><li>Igualando a cero la derivada anterior: </li></ul><ul><li>Si la matriz es no singular: </li></ul>
  49. 49. Modelo de ajuste lineal Datos centrados <ul><li>Si trabajamos con datos centrados: </li></ul><ul><li>y: </li></ul>
  50. 50. Modelo de ajuste lineal (II) Datos centrados <ul><li>Con: </li></ul>
  51. 51. Modelo de ajuste lineal (III) Datos centrados <ul><li>Para obtener el término constante utilizaremos la siguiente expresión: </li></ul><ul><li>Por lo tanto: </li></ul>
  52. 52. Datos centrados <ul><li>Trabajar con datos centrados supone una gran ventaja: </li></ul><ul><ul><li>Con datos originales, la dimensión de es ( k +1, k +1). </li></ul></ul><ul><ul><li>Con datos centrados, la dimensión de es ( k , k ). </li></ul></ul><ul><li>Por lo tanto, el cálculo de la matriz inversa es más sencillo en el caso de la matriz . </li></ul>
  53. 53. Matriz de varianzas y covarianzas
  54. 54. Matriz de varianzas y covarianzas
  55. 55. Matriz de varianzas y covarianzas
  56. 56. Matriz de varianzas y covarianzas
  57. 57. Modelo de ajuste lineal Matriz de varianzas y covarianzas
  58. 58. Modelo de ajuste Datos centrados

×