Este documento describe la regresión logística binomial y multinomial. Explica que la regresión logística es un método de discriminación cuando la variable dependiente es cualitativa. En el caso binomial, se modela el logaritmo de la razón de probabilidades como una función lineal de las variables explicativas. En el caso multinomial, se definen múltiples ecuaciones logísticas para cada categoría de la variable dependiente.

1. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Javier Trejos
Escuela de Matemática – CIMPA
Universidad de Costa Rica
October 15, 2020

2. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Esquema
Regresión Logı́stica
Caso Binomial
Caso Multinomial

3. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La regresión logı́stica es realmente un método de
discriminación, es decir, la variable y a explicar es
cualitativa, y por lo tanto determina una partición del
conjunto de objetos

4. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La regresión logı́stica es realmente un método de
discriminación, es decir, la variable y a explicar es
cualitativa, y por lo tanto determina una partición del
conjunto de objetos
◮ Para explicarla, se plantea un modelo basado en la
regresión lineal.

5. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La regresión logı́stica es realmente un método de
discriminación, es decir, la variable y a explicar es
cualitativa, y por lo tanto determina una partición del
conjunto de objetos
◮ Para explicarla, se plantea un modelo basado en la
regresión lineal.
◮ Se distinguen dos casos: cuando y tiene solamente dos
modalides, y cuando tiene más de dos.

6. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La regresión logı́stica es realmente un método de
discriminación, es decir, la variable y a explicar es
cualitativa, y por lo tanto determina una partición del
conjunto de objetos
◮ Para explicarla, se plantea un modelo basado en la
regresión lineal.
◮ Se distinguen dos casos: cuando y tiene solamente dos
modalides, y cuando tiene más de dos.
◮ En el primer caso se llama regresión logı́stica binomial y
en el otro se llama regresión logı́stica multinomial.

7. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Sea y una variable cualitativa a explicar con dos
modalidades, denotadas 0 y 1, la cual puede asimilarse
a una variable aleatoria de Bernoulli con parámetro π.

8. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Sea y una variable cualitativa a explicar con dos
modalidades, denotadas 0 y 1, la cual puede asimilarse
a una variable aleatoria de Bernoulli con parámetro π.
◮ Se dispone de un conjunto de variables explicativas
x1, . . . , xp.

9. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Sea y una variable cualitativa a explicar con dos
modalidades, denotadas 0 y 1, la cual puede asimilarse
a una variable aleatoria de Bernoulli con parámetro π.
◮ Se dispone de un conjunto de variables explicativas
x1, . . . , xp.
◮ Se considera el logaritmo del odds ratio π
1−π como
cuantificador del riesgo de una mala clasificación y se
plantea que sigue un modelo lineal:
ln
π
1 − π
= b0 + b1x1 + b2x2 + · · · + bpxp. (1)

10. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Sea y una variable cualitativa a explicar con dos
modalidades, denotadas 0 y 1, la cual puede asimilarse
a una variable aleatoria de Bernoulli con parámetro π.
◮ Se dispone de un conjunto de variables explicativas
x1, . . . , xp.
◮ Se considera el logaritmo del odds ratio π
1−π como
cuantificador del riesgo de una mala clasificación y se
plantea que sigue un modelo lineal:
ln
π
1 − π
= b0 + b1x1 + b2x2 + · · · + bpxp. (1)
◮ Al término
ln
π
1 − π
también se le llama logit, por lo que la regresión lo
gı́stica también es conocida como regresión logit.

11. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Aplicando la función exponencial se obtiene
π
1 − π
= exp(b0 + b1x1 + b2x2 + · · · + bpxp),

12. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ Aplicando la función exponencial se obtiene
π
1 − π
= exp(b0 + b1x1 + b2x2 + · · · + bpxp),
de donde, al despejar π, se deduce
π =
exp(b0 + b1x1 + b2x2 + · · · + bpxp)
1 + exp(b0 + b1x1 + b2x2 + · · · + bpxp)
.
◮ π se interpreta como la probabilidad de éxito de la v.a.
Bernoulli asociada a la variable a explicar y.

13. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
Para estimar los parámetros b0, b1, . . . , bp por el método de
máxima verosimilitud, se tiene
L(b0, . . . , bp) =
n
Y
i=1
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
yi
×
×
1 −
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
1−yi

14. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
Para estimar los parámetros b0, b1, . . . , bp por el método de
máxima verosimilitud, se tiene
L(b0, . . . , bp) =
n
Y
i=1
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
yi
×
×
1 −
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
1−yi
y aplicando logaritmo
ℓ(b0, . . . , bp) =
n
X
i=1
yi ln
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
+
+(1 − yi) ln
1 −
exp(b0 + b1x1 + · · · + bpxp)
1 + exp(b0 + b1x1 + · · · + bpxp)
.

15. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Binomial
◮ La solución que maximiza la expresión anterior no
puede ser obtenida directamente, sino que debe ser
aproximada por algún método iterativo.
◮ Por ejemplo, el método de Newton-Raphson puede
servir para este propósito.
◮ Nótese que no se hace ninguna hipótesis de normalidad
para deducir la solución en regresión logı́stica.

16. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Multinomial
◮ Si la variable a explicar y tiene más de dos categorı́as,
digamos y1, . . . , yq, se generaliza el caso binomial.
◮ Sea πk = P[y = yk].
◮ Fijando una categorı́a de y, digamos y1, para usarla
como referencia para modelar las restantes categorı́as,
definiéndose q − 1 ecuaciones de la forma:
ln
πk
π1
= b
(k)
0 + b
(k)
1 x1 + b
(k)
2 x2 + · · · + b(k)
p xp
para k = 2, . . . , q.

17. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Caso Multinomial
Despejando se obtiene:
P(y = y1|X) =
1
1 +
Pq
r=2 exp(b
(r)
0 + b
(r)
1 x1 + b
(r)
2 x2 + · · · + b
(r)
p xp)
P(y = yk|X) =
exp(b
(k)
0 + b
(k)
1 x1 + b
(k)
2 x2 + · · · + b
(k)
p xp)
1 +
Pq
r=2 exp(b
(r)
0 + b
(r)
1 x1 + b
(r)
2 x2 + · · · + b
(r)
p xp)
para k = 2, . . . , q.

18. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La solución se obtendrı́a maximizando el criterio de
máxima verosimilitud, para lo cual se necesitarı́a un
método numérico del tipo Newton-Raphson, similar al
del caso binomial.

19. Regresión
Logı́stica
Javier Trejos
Regresión Logı́stica
Caso Binomial
Caso Multinomial
Regresión Logı́stica
Principios
◮ La solución se obtendrı́a maximizando el criterio de
máxima verosimilitud, para lo cual se necesitarı́a un
método numérico del tipo Newton-Raphson, similar al
del caso binomial.
◮ Puede verse que el modelo de regresión logı́stica es un
modelo no lineal. Lo que sigue un modelo lineal es, en
escala logarı́tmica, la diferencia de la probabilidad de
ocurrencia de y menos la probabilidad de que no ocurra.
◮ Por ello, la interpretación de los coeficientes de regresión
es un poco diferente a los casos de regresión lineal.