Logit and Probit Models (binay regression models)

1. CURSO: INTRODUCCIÓN A
LA ECONOMETRÍA
APLICADA A LAS FINANZAS
Modelos Logit y Probit
9 de junio de 2016
1

2. OBJETIVOS Y ESQUEMA
Objetivos.
Proveer herramientas básicas de econometría y su aplicación directa a las
finanzas.
Capítulo 7:
Modelos Switching: Logit y Probit.
El modelo logit fue introducido por Joseph Berkson en 1944, quien sugirió
el nombre. El nombre fue traído como una analogía al muy similar modelo
probit desarrollado por Chester Ittner Bliss in 1934. G. A. Barnard en 1949
trajo el término comúnmente usado log-odds; los log-odds de un evento es
el logit de la probabilidad de un evento.
2

3. OBJETIVOS Y ESQUEMA
Que sucede si la variable dependeiente es una variable DUMMY… Caso
de modelos de probabilidad lineal (LPM).
Variable Dummy, dicotómica o binaria.
Por qué no es recomendable usar MCO Mínimos cuadrados ordinarios
(u Ordinary Least Squared OLS)
a) Y puede tomar valores 1 o 0. Pero no hay garantía (algunos son
negativos o por encima de 1).
b) Ya que Y es binario, el término de error en tal modelo es binario
también (sigue una distribución binomial no normal)… si la muestra es
bastante grande se podría aproximar a una dist. Normal.
c) Errores heteroscedásticos.. Se puede resolver
d) Una de las mayores debilidades es que asume que la probabilidad de
Y se incrementa con las variables explicatorias.
POR ESO SE USA LOGIT O PROBIT!! (ambos generan resultados
similares pero se profundizará el Logit por su simplicidad matemática. 3

4. 4
Funcion probabilidad acumulativa
logistic distribution function usada
frecuentemente para analizar
fenómenos de crecimiento como
población,PIB y oferta de dinero.
Probabilidad de tener una casa.

5. LOGIT
Reparando los problemas de LPM (linear probability model)… por eso no
se puede usar OLS (MCO)
Si Pi es la probabilidad de tener una casa
5
La probabilidad de no tenerla es:
Podemos escribir:
Pi / (1-Pi) es el ratio de probabilidad (odds ratio) de terner una casa.. El
ratio de la probabilidad de tener una casa contra no tenerla.

6. LOGIT
6
Si a la ecuación anterior se aplica el logaritmo natural log se obtiene un
resultado interesante
Es decir, L es el logaritmo del ratio de probabilidad, en cual no es solo
lineal en X pero también (desde el punto de vista de la estimación) lineal
en los parámetros. L es llamado el modelo LOGIT (se usa Maximun
likelihood o máxima verosimilitud)

7. Métodos de simulación
Motivaciones
En todos los modelos econométricos conocidos hasta ahora la variable
dependiente ha sido cuantitativa, mientras las variables independientes
son cuantitativas o cualitativas (Variables Dummy). Existen instancias en
economía donde la variable dependiente es una variable Dummy.
Ejemplo:
y = 1 si la persona está empleada
= 0
Consideremos el modelo de regresión: yi = βXi + ui
Con E(ui) = 0. La expectativa condicional está dada por: E(yi|Xi) = βXi
Asumiendo que E(ui) = 0 la probabilidad del término de error están dadas
por (1- βXi ) y βXi
7

8. Modelos dependiente limitado y regresiones de respuestas cualitativas
Motivaciones
Asumiendo que E(ui) =0 la probabilidad del término de error están dadas
por (1- βXi ) y βXi
ui f(ui)
1- βXi βXi
- βXi (1-βXi )
En consecuencia, Var(ui) = βXi (1-βXi )2 + (1-βXi ) (βXi )2 = βXi (1- βXi )
Var(ui) = E(yi) [1- E(yi)]
Así, nos encontramos con un modelo de probabilidad lineal que tiene
errores heteroscedásticos y los estimados OLS (MCO) de β no son
eficientes.
8

9. Modelos dependiente limitado y regresiones de respuestas cualitativas
Que debemos hacer:
1) Estimar el modelo por MCO (OLS)
2) Computar yi (1-yi) denominado valor predictivo y usar los mínimos
cuadrados ponderados con los pesos (weights):
wi = yi (1-yi), donde yi / wi es regresada sobre Xi /wi
Problemas con modelos de probabilidad lineal:
1) yi (1-yi) podría ser negativo. Como consecuencia, el procedimiento
establecido anteriormente es inválido, ya que yi (1-yi) es un estimador
consistente para E(yi) [1- E(yi)] y a veces no es probable ser negativo en
muestras grandes.
2) Errores no normales.
3) Los Valores que se predijeron son inadmisibles: Las probabilidades
estimadas podrían ubicarse fuera del rango (0, 1).
9

10. Modelos Probit y Logit
Modelos Probit y Logit
Consideremos el siguiente modelo de regresión:
yi * = ά + β1 X1i + β2 X2i + ui
donde yi * no es observada.
Ejemplo:
y = 1 si yi * > 0
= 0
La diferencia entre un modelo Probit y un modelo Tobit es la distribución
del término de error en el modelo de regresión.
Una típica aproximación de un modelo logit con una regresión de mínimos cuadrados ordinarios
es incorrecta porque los errores de la regresión son heteroscedasticos y no normales; y los
resultados estimados de probabilidad resultantes serian valores sin sentido sobre 1 o debajo de
0. MLE se ocupa de estos problemas de análisis utilizando una rutina de optimización iterativa
que maximiza la función logarítmica de verosimilitud cuando las variables dependientes son
limitadas. 10

11. Una regresión Logit o Logística es usada para predecir la probabilidad de
ocurrencia de un evento para datos ajustados a una curva logística. Esto
es generalizado en el modelo lineal utilizado para la regresión binomial.
MLE (maximum likelihood estimators) aplicado en un análisis logístico
multivariado binario es usado para modelar variables dependientes para
determinar la probabilidad esperada de éxito de pertenecer a un cierto
grupo. Los coeficientes estimados por el modelo Logit son cocientes
logarítmicos de probabilidad, y no pueden interpretarse directamente como
probabilidades. Un rápido calculo es requerido primero y luego la
aproximación es sencilla.
Específicamente, el modelo Logit es especificado como Estimado Y= LN[Pi/(1–Pi)] o en cambio, Pi =
EXP(Estimado Y)/(1+EXP(Y Estimado)), y los coeficientes βi son cocientes logarítmicos de probabilidad, a
fin de tomar el antilogaritmo o EXP(βi) obtenemos los cocientes de probabilidad de Pi/(1–Pi). Esto significa
que un incremento en una unidad de βi incrementa la probabilidad en este monto. Finalmente, la tasa de
cambio en la probabilidad dP/dX = βiPi(1–Pi). El Error Estándar mide la precisión de los coeficientes, y la
t-estadística son los coeficientes de cada Coeficiente respecto a sus errores estándar, los cuales son
usados en la prueba de hipótesis para calcular el nivel de significancia de cada parámetro estimado. Para
estimar la probabilidad éxito de pertenecer a un grupo especifico (p. ej., predecir si un fumador
desarrollara complicaciones pulmonares dado el monto de cigarrillos consumidos por año), simplemente
calcule el valor Estimado Y utilizando los coeficientes MLE. Por ejemplo, si el modelo es Y = 1.1 + 0.005
(Cigarrillos) entonces para una persona que fume 100 paquetes de cigarrillos por año tiene un Y Estimado
de 1.1 + 0.005(100) = 1.6. Después, calcule la inversa del antilogaritmo para el valor encontrado
previamente de probabilidad EXP(Y Estimado)/[1 + EXP(Y Estimado)] = EXP(1.6)/(1+ EXP(1.6)) = 0.8320.
Por lo tanto una persona tiene un 82.20% de probabilidad de desarrollar algun tipo de complicación
pulmonar en vida.
11

12. Modelos Probit y Logit
Modelo Binomial Logit
Este modelo evita la limitación de la probabilidad lineal al usar una
variante de la función logística:
ln (Di / (1-Di) = ά + β1 X1i + β2 X2i + ui
Di= Dummy
El valor esperado de Di es la probabilidad de que la n persona tome la
decisión definida por Di =1.
El lado izquierdo del modelo de la regresión es el log-odds ratio
(logaritmo del ratio de probabilidades) y es una función lineal de las
variables independientes.
Limites: 1) El modelo no se puede estimar por MCO (OLS) y la técnica
de máxima verosimilitud es empleada. Método interactivo de estimación el
cual es ventajoso para ecuaciones que son no lineales (necesitan muchos
datos).
12

13. Modelos Probit y Logit
Modelo Binomial Logit
Limites: 2) En un número de modelos Logit el número de observaciones
de un grupo es considerablemente menor que el número del otro
(ejemplo: El número de quiebras bancarias es considerablemente menor
que el número de bancos solventes). Una solución al problema es obtener
una muestra grande de datos. Alternativamente, la muestra de los dos
grupos debe ser ajustada a diferentes tasas para no obtener pendientes
sesgadas. Sin embargo, hay que tener mucho cuidado cuando se
interpreten los coeficientes estimados. El parámetro describe el efecto del
incremento en una unidad en la variable independiente, manteniendo
todas las variables explicatorias constantes, en el log-odds.
Como la forma funcional de la ecuación de la regresión ha sido cambiada,
la medición del ajuste de la ecuación se vuelve difícil. Variantes: 1) R2
correlación cuadrada entre y y y . 2) Es necesario medir la bondad de
ajuste por la suma de los residuales al cuadrado (o RSS.. Menor RSS
mejor modelo) y los ratios de verosimilitud. (likelihood ratios.. Mayor ratio
mejor modelo). 13

14. Modelos Probit y Logit
Modelo Binomial probabilístico Probit
Similar a la anterior, pero utilizando la distribución normal acumulativa.
1 Zi
Pi = ----- e -(S
2
/2) dS
2π -∞
donde Pi = Probabilidad de que Di =1
Zi = ά + β1 X1i + β2 X2i
S = Variable normal estandarizada.
En consecuencia Zi= F-1 (Pi) = ά + β1 X1i + β2 X2i
Distribución normal acumulativa
Logit y Probit tienen propiedades similares ya que ambas son funciones
de distribuciones acumulativas. Problemas: Requieren de muestras
grandes y las medidas de bondad de ajuste (como las señaladas en
lámina anterior). 14

15. Modelos Probit y Logit
Un modelo Probit (algunas veces conocido como modelo Normit) es una alternativa popular
de especificación para un modelo binario en cual emplea una función probit utilizando una
estimación de máxima verosimilitud y la aproximación es la llamada regresión probit. Los
modelos de regresión Logística tienden a producir predicciones similares, pero sus
parámetros estimados son entre 1.6 y 1.8 veces más altos que los correspondientes a
los coeficientes de un modelo Probit. La elección de un modelo Probit o Logit es
enteramente relacionado con la conveniencia particular, y la principal distinción entre ambos
se basa en el hecho que la distribución logística (logit) tiene una mayor curtosis (colas
gordas) para tener en cuenta en los valores extremos. Por ejemplo, suponga que una
familia tiene la decisión de adquirir una vivienda y su respuesta es una variable binaria
(comprar o no comprar la vivienda) y depende de una serie de variables independientes Xi
como son el ingreso, la edad, tal que Ii = β0 + β1X1 +...+ βnXn, donde el mayor valor de li,
significa una mayor probabilidad de ser propietario de la vivienda. Para cada familia, existe un
umbral crítico I*, donde si es superado la casa es comprada por alguien más, es decir, la casa
no es comprada, y la probabilidad de salida (P) se asume distribuida normalmente, tal que
Pi=CDF(I) utilizando una función de distribución acumulada normal estándar (CDF). Por lo
tanto, usa los coeficientes estimados exactamente igual a los de un modelo de regresión,
utilizando el valor Estimado Y, y aplicar la distribución normal estándar (usted puede usar la
función Excel DISTR.NORM.ESTAND o la herramienta de Análisis de Distribución
seleccionando la distribución Normal y ajustando la media en 0 y la desviación estándar en
1). Finalmente, para obtener un Probit o unidad de probabilidad, defina li + 5 (esto es porque
siempre la probabilidad Pi < 0.5, el estimado li es negativo, debido al hecho que la distribución
normal es simétrica alrededor de una media de cero).
15

16. Modelos Probit y Logit
Mientras el modelo probit está basado en distribuciones normales
acumulativas, las estimaciones requieren mayor tiempo computacional.
Similar a la anterior pero utilizando la distribución normal acumulativa. En
economía se asume frecuentemente que las variables tengan un
comportamiento de distribución normal. Sin embargo, esto no ocurre con
los modelos Logit y Probit. Sin embargo, en muestras largas no es
importante, ya que la máxima verosimilitud es asintóticamente normal
bajo condiciones generales.
Modelo multinomial Logit:
O Modelos multichoice. En muchas situaciones económicas el agente
encara un número de alternativas. En decisiones multichoice las
decisiones pueden ser vistas como una serie de decisiones binarias
conocidas como modelos secuenciales binarios Logit.
16

17. Modelos Probit y Logit
Modelo multinomial Logit:
Si el proceso de toma de decisiones es puramente simultáneo, el modelo
multinomial Logit es la extensión de modelos Logit binarios. Si hay N
alternativas entonces se requerirán N-1 Dummies para modelar las
alternativas. Cada Dummy será una alternativa.
Consideremos D1i =1 si la nth persona seleccione la alternativa 1 y 0.
En un modelo multinomial Logit, una alternativa es considerada como la
base y otra posible alternativa es comparada con la alternativa base con
un modelo Logit.
La variable dependiente de la ecuación es el log de los odds
(posibilidades) de la nth alternativa comparada con la alternativa base.
ln (P1t / Pbi)
P1t = Probabilidad de que la Nth persona selecciona la primera alternativa.
Pbi = Probabilidad de que la Nth persona selecciona la alternativa base.
17

18. Modelos Probit y Logit
Modelo multinomial Logit:
ln (P1i / Pbi) = ά0 + ά1 X1i + ά2 X2i
ln (P2i / Pbi) = β0 + β1 X1i + β2 X2i
P1t = Probabilidad de que la Nth persona selecciona la primera alternativa.
Pbi = Probabilidad de que la Nth persona selecciona la alternativa base.
Tipos de variables independientes en un modelo logit multinomial:
1) Características de los hacedores de decisiones: El coeficiente en
ingreso representa la diferencia entre el impacto del ingreso en la
probabilidad de seleccionar la alternativa 1 comparado con la probabilidad
de optar por el modelo base.
2) Características de las alternativas: La variable debe capturar la
diferencia entre las características de las dos alternativas.
Como se modela: 1) Ecuaciones simultáneas (máxima verosimilitud)
2) tomar en cuenta las relaciones entre los términos de error (GLS
requerido). 18

19. Modelos Probit y Logit
Variables truncadas: Modelo Tobit.
Consideremos la siguiente regresión:
y*i = βXi + ui
y y*i es observada si yi* > 0 y no observada si y*i <=0. La y observada es
definida como:
y*i = βXi + ui si y*i > 0
yi = 0 si y*i <=0
Modelo denominado Tobin´s Probit o modelo Tobit. También conocido
como modelo censurado normal ya que alguna de las observaciones de
y* están censuradas. i.e. no observadas.
19

20. El modelo Tobit (Tobit Censurado) es un método de modelación biométrica y
econométrica usada para describir la relación entre una variable dependiente no-
negativa Yi y una o más variables independientes Xi. Un modelo Tobit es un
modelo econométrico en el cual la variable dependiente es censurada; esto es, la
variable dependiente es censurada porque los valores debajo de cero no son
observados. El modelo Tobit asume que existe una variable inobservable latente
Y*. Esta variable es linealmente dependiente de las variables Xi vía un vector de
coeficientes βi, que determina sus interrelaciones. En adición, el término del error
Ui está distribuido normalmente para capturar la influencia aleatoria en esta
relación. La variable observable Yi es definida como la igualdad de la variable
latente siempre que las variables latentes sean superiores a cero y Yi es asumido
como cero en otro caso. Esto es, Yi = Y* si Y* > 0 y Yi = 0 si Y* = 0. Si el parámetro
de relación βi es estimado utilizando una regresión de mínimos cuadrados
ordinarios de los observados Yi en Xi, los estimadores de la regresión calculada
son inconsistentes y el coeficiente de la pendiente se encuentra insesgada hacia
abajo y el intercepto insesgado hacia arriba. Únicamente el MLE podría ser
consistente para un modelo Tobit. En el modelo Tobit, se tiene un complemento
estadístico llamado Sigma, el cual el equivalente al error estándar de la estimación
en una regresión de mínimos cuadrados ordinarios y los coeficientes estimados
son usados en el mismo sentido que en el análisis de regresión.
20

21. Todos los Cursos Risk Simulator
http://www.software-
shop.com/in.php?prdID=322&tab=&clave=&est=&mod=ver_producto&use
rEst=&lang=&tipID=&correo=&full=&forceUpdate=&window=1&videoID=1
36
21