Este documento presenta una introducción al tema de la regresión lineal simple. Explica el modelo de regresión, los métodos de estimación de parámetros como mínimos cuadrados y máxima verosimilitud, e incluye información sobre inferencia, predicción y diagnóstico del modelo. El objetivo es construir y analizar modelos de regresión lineal simple.
1. Ignacio Cascos Depto. Estadística, Universidad Carlos III 1 Regresión lineal simple Tema 1
2. Ignacio Cascos Depto. Estadística, Universidad Carlos III 2 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
3. Ignacio Cascos Depto. Estadística, Universidad Carlos III 3 Objetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal
4. Ignacio Cascos Depto. Estadística, Universidad Carlos III 4 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
5. Ignacio Cascos Depto. Estadística, Universidad Carlos III 5 Introducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal
6. Ignacio Cascos Depto. Estadística, Universidad Carlos III 6 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
7. Ignacio Cascos Depto. Estadística, Universidad Carlos III 7 Ejemplo: Pureza del oxígeno en un proceso de destilación
8. Ignacio Cascos Depto. Estadística, Universidad Carlos III 8 Ejemplo: Pureza del oxígeno en un proceso de destilación
9. Ignacio Cascos Depto. Estadística, Universidad Carlos III 9 El modelo de regresión simple n pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar)
10. Ignacio Cascos Depto. Estadística, Universidad Carlos III 10 El modelo de regresión simple
11. Ignacio Cascos Depto. Estadística, Universidad Carlos III 11 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
12. Ignacio Cascos Depto. Estadística, Universidad Carlos III 12 Linealidad: datos con aspecto recto
13. Ignacio Cascos Depto. Estadística, Universidad Carlos III 13 Homogeneidad El valor promedio del error es cero,
14. Ignacio Cascos Depto. Estadística, Universidad Carlos III 14 Homocedasticidad:Var[ui]=s2 Varianza de errores constante
15. Ignacio Cascos Depto. Estadística, Universidad Carlos III 15 Independencia: Observaciones independientes, en particular E[uiuj]= 0
16. Ignacio Cascos Depto. Estadística, Universidad Carlos III 16 Normalidad: ui~N(0, s2)
17. Ignacio Cascos Depto. Estadística, Universidad Carlos III 17 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones
18. Ignacio Cascos Depto. Estadística, Universidad Carlos III 18 Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada
19. Ignacio Cascos Depto. Estadística, Universidad Carlos III 19 Mínimos Cuadrados (Gauss, 1809) Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar:
20. Ignacio Cascos Depto. Estadística, Universidad Carlos III 20 Mínimos Cuadrados (Gauss, 1809) Resultado:
21. Ignacio Cascos Depto. Estadística, Universidad Carlos III 21 Ajuste regresión simple:Datos pureza oxígeno
22. Ignacio Cascos Depto. Estadística, Universidad Carlos III 22 Ajuste regresión simple:Datos pureza oxígeno
23. Ignacio Cascos Depto. Estadística, Universidad Carlos III 23 Ajuste regresión simple:Datos pureza oxígeno
24. Ignacio Cascos Depto. Estadística, Universidad Carlos III 24 Ajuste regresión simple:Datos pureza oxígeno
25. Ignacio Cascos Depto. Estadística, Universidad Carlos III 25 Ajuste regresión simple:Datos pureza oxígeno
26. Ignacio Cascos Depto. Estadística, Universidad Carlos III 26 Método de Máxima Verosimilitud Mismo resultado. Estimación de la varianza:
27. Ignacio Cascos Depto. Estadística, Universidad Carlos III 27 Ajuste regresión simple:Datos pureza oxígeno
28. Ignacio Cascos Depto. Estadística, Universidad Carlos III 28 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
29. Ignacio Cascos Depto. Estadística, Universidad Carlos III 29 Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador
30. Ignacio Cascos Depto. Estadística, Universidad Carlos III 30 Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador
31. Ignacio Cascos Depto. Estadística, Universidad Carlos III 31 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
32. Ignacio Cascos Depto. Estadística, Universidad Carlos III 32 Inferencia respecto a los parámetros IC
33. Ignacio Cascos Depto. Estadística, Universidad Carlos III 33 Inferencia respecto a los parámetrosContraste de Hipótesis
34. Ignacio Cascos Depto. Estadística, Universidad Carlos III 34 Ajusteregresiónsimple:purezaoxígeno
35. Ignacio Cascos Depto. Estadística, Universidad Carlos III 35 Descomposición de la variabilidad La variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión
36. Ignacio Cascos Depto. Estadística, Universidad Carlos III 36 Ajusteregresiónsimple:purezaoxígeno VE
37. Ignacio Cascos Depto. Estadística, Universidad Carlos III 37 Ajusteregresiónsimple:purezaoxígeno VNE
38. Ignacio Cascos Depto. Estadística, Universidad Carlos III 38 Coeficiente de determinación
39. Ignacio Cascos Depto. Estadística, Universidad Carlos III 39 Predicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente.
40. Ignacio Cascos Depto. Estadística, Universidad Carlos III 40 Predicción (promedio) Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada
41. Ignacio Cascos Depto. Estadística, Universidad Carlos III 41 Ajusteregresiónsimple:purezaoxígeno La anchura del intervalo aumenta cuando aumenta
42. Ignacio Cascos Depto. Estadística, Universidad Carlos III 42 Predicción para futuros valores Intervalo de predicción
43. Ignacio Cascos Depto. Estadística, Universidad Carlos III 43 Ajusteregresiónsimple:purezaoxígeno
44. Ignacio Cascos Depto. Estadística, Universidad Carlos III 44 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis
45. Ignacio Cascos Depto. Estadística, Universidad Carlos III 45 Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna.
46. Ignacio Cascos Depto. Estadística, Universidad Carlos III 46 Ajuste regresión simple:Datos pureza oxígeno
47. Ignacio Cascos Depto. Estadística, Universidad Carlos III 47 Relaciones no lineales Gráficos de residuos
48. Ignacio Cascos Depto. Estadística, Universidad Carlos III 48 Linealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta.
49. Ignacio Cascos Depto. Estadística, Universidad Carlos III 49 Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y
50. Ignacio Cascos Depto. Estadística, Universidad Carlos III 50 Homocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con xsegún la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación.
51. Ignacio Cascos Depto. Estadística, Universidad Carlos III 51 Normalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta.
53. Ignacio Cascos Depto. Estadística, Universidad Carlos III 53 Independencia y Datos influyentes Independencia Conviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación.