REGRESION LINEAL

1. “REGRESION LINEAL.”ESTADISTICA INFERENCIAL.INTEGRANTES:Alfaro Zabala GracielaCortez Zavala YajairaEscudero Recillas Sara LizbethGarcés barrios Liliana Janet Gerónimo Domínguez KarinaPortilla Romero N. MelinaSaucedo García Jesús ManuelGonzález Resendiz Carlos Eduardo<br />Veracruz, Ver a 23 de Marzo del 2009<br />Universidad Veracruzana<br />Facultad de Administración, Administración Turística y Sistemas Computacionales. <br />Profesor: ELSA RETURETA.<br />Fecha de entrega: 11 DE MAYO DE 2010.<br />APLICACIÓN.<br />Muchos problemas de investigación requieren la estimación de las relaciones existentes entre la pauta de variabilidad de una variable aleatoria y los valores de una o más variables (aleatorias o no) de las que la primera depende o puede depender.<br />El análisis de regresión es una técnica estadística para la estimación de los parámetros de una ecuación que relaciona una determinada variable con un conjunto de variables. El análisis se lleva a cabo mediante el establecimiento de “un modelo de regresión” cuyos parámetros recogen y cuantifican los efectos que se pretende estudiar.<br />La razón básica por la cual se construye un modelo de regresión es describir la naturaleza de una relación en forma cuantitativa. Sin embargo, los objetivos son con frecuencia más específicos. Por ejemplo, para un proceso en el que la humedad es controlable, el objetivo podría ser hallar el valor particular de la humedad que minimiza inestabilidad de un instrumento, o alguna función de costos basada en dicha inestabilidad. O bien determinar variables independientes importantes de un proceso. Por ejemplo, ver si la humedad, presión y temperatura afectan a una característica de calidad de un producto. En síntesis la utilidad de los modelos de regresión puede ser la siguiente:<br />1. Proyecto y predicción<br />2. Descripción cuantitativa entre un conjunto de variables<br />3. Interpretación de los valores de la función<br />4. Determinación de variables independientes importantes<br />5. Descubrimiento de las condiciones de funcionamiento óptimas<br />6. Selección entre modelos alternativos<br />7. Estimación de coeficientes de regresión particulares<br />El análisis de regresión ha cobrado popularidad debido al gran número de paquetes estadísticos que lo incluyen y por ser un “proceso robusto que se adapta a un sinfín de aplicaciones científicas y ejecutivas que permite la toma de decisiones”<br />center-1161De manera general, podemos decir que el uso del las estadísticas en cualquier área de estudio y trabajo es importante; ya que ayuda a ordenar datos, obtener resultados y a tomar decisiones.<br />GLOSARIO.<br />CONCEPTODEFINICIONTRADUCCIONPARAMETROSSe trata de una función definida sobre valores numéricos de una población, como la media aritmética, una proporción o su desviación típica. Un parámetro es un número que resume la ingente cantidad de datos que pueden derivarse del estudio de una variable estadísticaThis is a numerical function defined on a population, as the arithmetic average, a ratio or deviation. A parameter is a number that summarizes the vast amount of data that may result from the study of a statistical variableCOEFICIENTE DE REGRESIÓNIndica el número de unidades en que se modifica la variable dependiente “Y” por efecto del cambio de la variable independiente “X” o viceversa en una unidad de medida.Indicates the number of units that amending the dependent variable quot;
Yquot;
the effect of changing the independent variable quot;
Xquot;
or vice versa in a unit of measurement.β0Es la intersección o término quot;
constantequot;
It is the intersection or the term quot;
constantquot;
558165372745Son los parámetros respectivos a cada variable independiente.Pertinent parameters are each independent variable.PEs el número de parámetros independientes a tener en cuenta en la regresión.The number of independent parameters to be considered in the regression.Es la perturbación aleatoria que recoge Todos aquellos factores de la realidad no controlables u observables.It is the random disturbance which includes all those factors not controllable or observable reality.ESTOCÁSTICOSistema que funciona, sobre todo, por el azar.System that works, mostly by chance.Es el error asociado a la medición del valorIs the error associated with measuring the value<br />INTRODUCCION.<br />Sabemos que existe una relación entre una variable denominada dependiente y otras denominadas independientes, puede darse el problema de que la dependiente asuma múltiples valores para una combinación de valores de las independientes.<br />Si se da ese tipo de relaciones, se suele recurrir a los estudios de regresión en los cuales se obtiene una nueva relación pero de un tipo especial denominado función, en la cual la variable independiente se asocia con un indicador de tendencia central de la variable dependiente. Cabe recordar que en términos generales, una función es un tipo de relación en la cual para cada valor de la variable independiente le corresponde un valor de la variable dependiente.<br />Se denomina regresión lineal cuando la función es lineal, es decir, requiere la determinación de dos parámetros: la pendiente y la ordenada en el origen de la recta de regresión, y=a x + b.<br />La regresión nos permite además, determinar el grado de dependencia de las series de valores X e Y, prediciendo el valor y estimado que se obtendría para un valor X que no esté en la distribución.<br />“REGRESION LINEAL”<br />La regresión lineal o ajuste lineal es un método matemático que modeliza la relación entre una variable dependiente Y, las variables independientes Xi y un término aleatorio ε. Este modelo puede ser expresado como:<br />Donde β0 es la intersección o término quot;
constantequot;
, las son los parámetros respectivos a cada variable independiente, y p es el número de parámetros independientes a tener en cuenta en la regresión. La regresión lineal puede ser contrastada con la regresión no lineal.<br />HISTORIA <br />La primera forma de regresiones lineales documentada fue el método de los mínimos cuadrados, el cual fue publicado por Legendre en 1805, y por Gauss en 1809. <br />Tanto Legendre como Gauss aplicaron el método para determinar, a partir de observaciones astronómicas, las órbitas de cuerpos alrededor del sol. En 1821, Gauss publicó un trabajo en dónde desarrollaba de manera más profunda el método de los mínimos cuadrados, y en dónde se incluía una versión del teorema de Gauss-Márkov.<br />EL MODELO DE REGRESIÓN LINEAL.<br />El modelo lineal relaciona la variable dependiente Y con K variables explicativas Xk (k = 1,...K), o cualquier transformación de éstas, que generan un hiperplano de parámetros βk desconocidos:<br />donde es la perturbación aleatoria que recoge todos aquellos factores de la realidad no controlables u observables y que por tanto se asocian con el azar, y es la que confiere al modelo su carácter estocástico. En el caso más sencillo de dos variables explicativas, el hiperplano es una recta:<br />El problema de la regresión consiste en elegir unos valores determinados para los parámetros desconocidos βk, de modo que la ecuación quede completamente especificada. Para ello se necesita un conjunto de observaciones. En una observación cualquiera i-ésima (i= 1,... I) se registra el comportamiento simultáneo de la variable dependiente y las variables explicativas (las perturbaciones aleatorias se suponen no observables).<br />Los valores escogidos como estimadores de los parámetros, , son los coeficientes de regresión, sin que se pueda garantizar que coinciden con parámetros reales del proceso generador. Por tanto, en<br />Los valores son por su parte estimaciones de la perturbación aleatoria o errores.<br />TIPOS DE MODELOS DE REGRESIÓN LINEAL.<br />Existen diferentes tipos de regresión lineal que se clasifican de acuerdo a sus parámetros:<br />REGRESIÓN LINEAL SIMPLE.<br />Sólo se maneja una variable independiente, por lo que sólo cuenta con dos parámetros. Son de la forma:[]<br />Donde es el error asociado a la medición del valor Xi y siguen los supuestos de modo que (media cero, varianza constante e igual a un σ y con ).<br />ANÁLISIS.<br />Dado el modelo de regresión simple, si se calcula la esperanza (valor esperado) del valor Y, se obtiene:[]<br />Calculando y . Para esto se buscan dichos parámetros que minimicen <br />181546523495<br />Derivando respecto a y e igualando a cero, se obtiene[]<br />Obteniendo dos ecuaciones denominadas ecuaciones normales que generan la siguiente solución para ambos parámetros:[]<br />La interpretación del parámetro beta 2 es que un incremento en Xi de una unidad, Yi incrementará en beta 2<br />MODELO DE REGRESIÓN SIMPLE.<br />Y = β + β X + u t<br />La expresión anterior refleja una relación lineal, y en ella sólo figura una única variable explicativa, recibiendo el nombre de relación lineal simple. El calificativo de simple se debe a que solamente hay una variable explicativa.<br />Supongamos ahora que disponemos de T observaciones de la variable Y ( 1 2 , , ,T Y Y … Y ) y de las correspondientes observaciones de X ( 1 2 , , ,T X X … X ). Si hacemos extensiva (3) a la relación entre observaciones, tendremos el siguiente conjunto de T ecuaciones:<br />1763395122555<br />El sistema de ecuaciones anterior, se puede escribir abreviadamente de la forma siguiente:<br />94869089535<br />El objetivo principal de la regresión es la determinación o estimación de 1 β y 2 β a partir de la información contenida en las observaciones de que disponemos. Esta estimación se puede llevar a cabo mediante diversos procedimientos. A continuación se analizan en detalle algunos de los métodos posibles.<br />Interesa, en primer lugar, realizar una aproximación intuitiva a diferentes criterios de ajuste. Para ello se utiliza la representación gráfica de las observaciones (,t t X Y), con t = 1, 2,..., T. Si la relación lineal de dependencia entre Y y X fuera exacta, las observaciones se situarían a lo largo de una recta (véase la figura 1). En ese caso, las estimaciones más adecuadas de 1 β y 2 β – de hecho, los verdaderos valores – serían, respectivamente, la ordenada en el origen y la pendiente de dicha recta.<br />1577340161925<br />19272251806575Pero si la dependencia entre Y y X es estocástica, entonces, en general, las observaciones no se alinearán a lo largo de una recta, sino que formarán una nube de puntos, como aparece en la figura 2. En ese caso, podemos contemplar las estimaciones de 1β y 2 β como la ordenada en el origen y la pendiente de una recta próxima a los puntos. Así, si designamos mediante 1ˆβ y 2 ˆβ las estimaciones de 1β y 2 β, respectivamente, la ordenada de la recta para el valor t X vendrá dada por:<br />El problema que tenemos planteado es, pues, hallar unos estimadores 1ˆβ y 2 ˆβ tales que la recta que pasa por los puntos (, ˆ t t X ) se ajuste lo mejor posible a los puntos ( ,t t X Y ). Se denomina error o residuo a la diferencia entre el valor observado de la variable endógena y el valor ajustado, es decir,<br />Teniendo en cuenta el concepto de residuo se analizan a continuación diversos criterios de ajuste.<br />853440144145<br />PASOS PARA UNA REGRESION LINEAL SIMPLE.<br />En este tipo de regresión se desea caracterizar el efecto lineal de una única variable explicativa sobre la variable respuesta.<br />Los pasos para efectuar un análisis son los siguientes <br />1. Representación gráfica de datos<br />2. Planteamiento del modelo<br />3. Estimación de la ecuación de predicción<br />4. Examen de la adecuación del modelo lineal<br />5. Intervalos de confianza para la estimación.<br />REGRESIÓN LINEAL MÚLTIPLE.<br />Maneja varias variables independientes. Cuenta con varios parámetros. Se expresan de la forma:[]<br />Donde es el error asociado a la medición i del valor Xip y siguen los supuestos de modo que (media cero, varianza constante e igual a un σ y con ).<br />SUPUESTOS DEL MODELO DE REGRESIÓN LINEAL.<br />Para poder crear un modelo de regresión lineal, es necesario que se cumpla con los siguientes supuestos:<br />1.-La relación entre las variables es lineal.<br />2.-Los errores son independientes.<br />3.-Los errores tienen varianza constante.<br />4.-Los errores tienen una esperanza matemática igual a cero.<br />5.-El error total es la suma de todos los errores.<br />RESTRICCIONES LINEALES. <br />En ocasiones puede interesar incluir las restricciones lineales sobre el modelo teórico. Como es evidente, las restricciones lineales excluirán, en este caso, al coeficiente .<br />El problema es el siguiente:<br />Dado el modelo teórico<br />Donde el subíndice denota que los datos de las variables han sido centrados y que el vector carece de término independiente- encontrar un valor para -al que llamaremos - que minimice la suma de los cuadrados de los residuos sujeta a la restricción:<br />Procediendo de modo análogo a lo que hicimos en éste y en este otro post se llega a que la estimación de sujeta a las restricciones es:<br />Donde es la estimación de en un modelo sin restricciones, y que el incremento en la suma de los cuadrados de los residuos debida a la inclusión de la restricción es:<br />REPRESENTACION GRAFICA DE DATOS.<br />El primer paso para el estudio de relaciones entre variables, consiste en trazar una gráfica de los datos (corrientemente llamado diagrama de dispersión). La variable respuesta se indica en el eje vertical y la variable explicativa en el horizontal. En la figura 5.3 se presentan ejemplos de gráficos de dispersión.<br />Los gráficos de dispersión son útiles debido a los siguientes aspectos :<br />· Facilita información sobre la relación existente entre las variables<br />· Permite sugerir modelos posibles para los datos o transformaciones de datos.<br />· Puede señalar la existencia de observaciones anómalas<br />· Puede facilitar una indicación de y para x fija. Además puede mostrar que esa variabilidad permanece constante para todos los valores de x o que cambia con x.<br />PLANTEAMIENTO DEL MODELO.<br />La ecuación que relaciona los datos para una regresión lineal simple es la siguiente:<br />y = b o + b 1 x + e<br />Donde: bo y b1 son respectivamente la ordenada en el origen y el nivel de variación de y por cada unidad de variación de x (desconocidas de la recta de regresión); x variable explicativa o una transformación de esta (ej: log x); e es el error aleatorio con media cero y varianza constante. También se supone que las {e} constituyen un conjunto de variables aleatorias independientes. El error aleatorio puede deberse a errores en la medición de y y/o a efectos de “variables no incluidas en el modelo”. Se denota como error de la ecuación.<br />-1200154668520-1060452116455-106045-107950<br />TABLAS.<br />167214124555<br />UTILIDAD.<br />LÍNEAS DE TENDENCIA.<br />Una línea de tendencia representa una tendencia en una serie de datos obtenidos a través de un largo período. Este tipo de líneas puede decirnos si un conjunto de datos en particular (como por ejemplo, el PBI, el precio del petróleo o el valor de las acciones) han aumentado o decrementado en un determinado período. [] Se puede dibujar una línea de tendencia a simple vista fácilmente a partir de un grupo de puntos, pero su posición y pendiente se calcula de manera más precisa utilizando técnicas estadísticas como las regresiones lineales. Las líneas de tendencia son generalmente líneas rectas, aunque algunas variaciones utilizan polinomios de mayor grado dependiendo de la curvatura deseada en la línea.<br />MEDICINA <br />En medicina, las primeras evidencias relacionando la mortalidad con el fumar tabaco vinieron de estudios que utilizaban la regresión lineal. Los investigadores incluyen una gran cantidad de variables en su análisis de regresión en un esfuerzo por eliminar factores que pudieran producir correlaciones espurias. En el caso del tabaquismo, los investigadores incluyeron el estado socio-económico para asegurarse que los efectos de mortalidad por tabaquismo no sean un efecto de su educación o posición económica. No obstante, es imposible incluir todas las variables posibles en un estudio de regresión.[12] [13] En el ejemplo del tabaquismo, un hipotético gen podría aumentar la mortalidad y aumentar la propensión a adquirir enfermedades relacionadas con el consumo de tabaco. Por esta razón, en la actualidad las pruebas controladas aleatorias son consideradas mucho más confiables que los análisis de regresión.<br />EJEMPLOS<br />1.-Un vehículo que se mueve supuestamente con velocidad constante. Los datos de las medidas del tiempo en cuatro posiciones separadas 900 m son las siguientes<br />Tiempo t (s)Posición x (m)17.6040.490067.7180090.12700<br />Ajustar los datos a la línea recta <br />x=x0+vt <br />Y estimar el mejor valor de la velocidad v aplicando el procedimiento de mínimos cuadrados <br />Introduciendo los datos en el programa interactivo, la pendiente es a=36.71 y el error de la pendiente Da=1.001. La velocidad se escribe v=37±1 m/s<br />2.- Vamos a calcular la recta de regresión de la siguiente serie de datos de altura y peso de los alumnos de una clase. Vamos a considerar que la altura es la variable independiente quot;
xquot;
y que el peso es la variable dependiente quot;
yquot;
(podíamos hacerlo también al contrario):<br />AlumnoEstaturaPesoAlumnoEstaturaPesoAlumnoEstaturaPesoxxxxxxxxxAlumno 11,2532Alumno 111,2533Alumno 211,2533Alumno 21,2833Alumno 121,2835Alumno 221,2834Alumno 31,2734Alumno 131,2734Alumno 231,2734Alumno 41,2130Alumno 141,2130Alumno 241,2131Alumno 51,2232Alumno 151,2233Alumno 251,2232Alumno 61,2935Alumno 161,2934Alumno 261,2934Alumno 71,3034Alumno 171,3035Alumno 271,3034Alumno 81,2432Alumno 181,2432Alumno 281,2431Alumno 91,2732Alumno 191,2733Alumno 291,2735Alumno 101,2935Alumno 201,2933Alumno 301,2934<br />El parámetro quot;
bquot;
viene determinado por:<br />b =(1/30) * 1,034 -----------------------------------------= 40,265(1/30) * 0,00856 <br />Y el parámetro quot;
aquot;
por: <br />a = 33,1 - (40,265 * 1,262) = -17,714<br />Por lo tanto, la recta que mejor se ajusta a esta serie de datos es:<br />y = -17,714 + (40,265 * x)<br />Esta recta define un valor de la variable dependiente (peso), para cada valor de la variable independiente (estatura):<br />EstaturaPeso1,2030,61,2131,01,2231,41,2331,81,2432,21,2532,61,2633,01,2733,41,2833,81,2934,21,3034,6<br />3.- Para hacer un modelo de regresión necesitamos lápiz (o bolígrafo), folios y una calculadora elemental. Nada más. En las prácticas era suficiente con introducir los datos relativos a x y a y. Sin embargo, para hacer las cosas sin ordenador hay que trabajar un poquito más. Por ese motivo vamos a hacer ejercicios con pocos datos.<br />-747395428625La idea es escribir una tabla como la siguiente:<br />En dicha tabla, además de introducir los valores de x e y, nos ayudamos de la calculadora para hacer el resto de columnas y las sumas finales de cada una de ellas. A partir de esta tabla, y conociendo las fórmulas de la varianza y la covarianza, las calculamos tal y como aparecen a la derecha de la tabla. A partir de las medias, las varianzas y la covarianza se calculan los coeficientes de la recta de regresión de y sobre x. Recordemos que en la recta de regresión y = a + bx, los coeficientes a y están dados por las siguientes fórmulas:<br />Por lo tanto, la recta es y = −5,0847 + 7,283x .Esta recta es la que mejor predice el comportamiento de la variable y en función de la variable x. Así, para calcular lo que podemos esperar que cueste un automóvil de 1,1 Tm, basta sustituir en la recta de regresión la x por 1,1: y(1,1) = −5,0847 + 7,283 · 1,1=2,9266 millones. Éste es el valor esperado (o valor que predice) nuestra regresión lineal para x = 1,1.<br />Para saber si la predicción es fiable (si el ajuste es bueno), calculamos el coeficiente de correlación lineal r<br />Que es bastante próximo a 1. Por tanto, los resultados se pueden considerar fiables.<br />4.- Si representamos los datos como puntos de coordenadas (xi,yi) en el plano vemos que, efectivamente, éstos podrían ajustarse a una recta, lo que nos indica que la velocidad de reacción aumenta “linealmente” con la concentración de glucógenas. Al igual que en el problema anterior, debemos elaborar una tabla con los valores observados de las variables x e y y, a partir de ellos, completar las columnas siguientes ayudados de la calculadora<br />A partir de aquí, hacemos también el cálculo de los estadísticos descriptivos más sencillos: medias, varianzas y covarianza.<br />A continuación, calculamos los coeficientes a y b de la recta de regresión<br /> y = a + bx:<br />La recta de regresión es y = 1,2112204 + 18,648343x ; en la figura se ve cómo se ajustan los datos a ella.<br />Para calcular la velocidad de reacción a una concentración de 2,5 mili moles/litro, basta sustituir x por 2,5 en la recta de regresión: y(2,5) = 1,2112204 + 18,648343 · 2,5 = 47,832078 micro moles/minuto.<br />Finalmente, vemos si el ajuste lineal es bueno calculando el coeficiente de correlación lineal r:<br />Que es muy próximo a 1. Por tanto, la dependencia lineal es buena.<br />5.- La representación de la nube de puntos nos da la idea de que un buen ajuste va a ser el lineal aunque tampoco debemos descartar el ajuste exponencial sólo por el dibujo:<br />Ajuste por una función lineal: <br />Como es habitual, introducimos la tabla con las columnas siguientes:<br />-638175117475<br />Por tanto, la recta de regresión es y = 3,7467 + 0,288x .<br />(b) Ajuste por una función exponencial: Como la función buscada es y = aebx, tomando logaritmos tenemos que log y = log a + bx. Llamamos a la nueva variable y = log y y también hacemos a = log a. Tenemos entonces que calcular entonces la recta de regresión y = a +bx para las nuevas variables y y x<br />-419735265430<br />PROBLEMAS<br />Problema 1<br />En las practicas era suficiente con introducir los datos relativos a x y a y. Sin embargo, para hacer las cosas sin ordenador hay que trabajar un poquito mas. Por ese motivo vamos a hacer ejercicios con pocos datos.<br />La idea es escribir una tabla como la siguiente:<br />En dicha tabla, ademas de introducir los valores de x e y, nos ayudamos de la calculadora para hacer el resto de columnas y las sumas finales de cada una de ellas. A partir de esta tabla, y conociendo las formulas de la varianza y la covarianza, las calculamos tal y como aparecen a la derecha de la tabla.<br />A partir de las medias, las varianzas y la covarianza se calculan los coeficientes de la recta de regresion de y sobre x. Recordemos que en la recta de regresion y = a + bx, los coeficientes a y b estan dados por las siguientes formulas:<br />Por lo tanto la recta es:<br />Esta recta es la que mejor predice el comportamiento de la variable y en funcion de la variable x. Asi, para calcular lo que podemos esperar que cueste un automovil de 1, 1 Tm, basta sustituir en la recta de regresion la x por 1;1: y(1;1) = ¡5;0847 + 7;283 ¢ 1;1 = 2;9266 millones. Este es el valor esperado (o valor que predice) nuestra regresion lineal para x = 1;1. Para saber si la predicciones fiable (si el ajuste es bueno), calculamos el coeficiente de correlacion lineal r:<br />