Métodos para evaluar hipótesis (resultado de un algoritmo de aprendizaje). La presentación le pertenece a Paola Cárdenas.

1. Evaluación de hipótesis
Machine Learning
Estudiante
Paola Cárdenas
Universidad de Cuenca
Escuela de Ingeniería de Sistemas

2. Objetivo
Comparar los resultados que dan diferentes modelos
luego del entrenamiento para poder escoger el mejor
modelo a utlizar.

3. Contenido
● Comparación entre modelos
● Comparación de algoritmos de aprendizaje
○ Análisis ROC
● Ejemplo

4. Comparación
entre
modelos

6. Comparación entre modelos
Error
● Medida natural de rendimiento de un
clasifcador
● Tasa de error: proporción del número de errores
cometdos sobre un conjunto de instancias

7. Comparación entre modelos
Error de resubsttución
● Tasa de error calculada sobre el conjunto de
entrenamiento.
● Muy optmista. Estma tasas de error menores
que el error verdadero.

8. Comparación entre modelos
Validación de Modelos
Un modelo que puede sufrir de:
● Underfing (alto sesgo o bias) si el modelo es
demasiado simple.
● Overfing en los datos de entrenamiento (alta
varianza) si el modelo es demasiado complejo.

9. Comparación entre modelos

10. Comparación entre modelos
Validación de Modelos
Para encontrar un compromiso aceptable entre el
bias y la varianza tenemos las técnicas:
● cross-validaton
● holdout
● k-fold cross-validaton,
Estmaciones fables de error de generalización.

11. Comparación entre modelos
El método holdout (reserva)
● Dividir los datos originales en entrenamiento y
prueba.
● Típicamente 2/3 , 1/3 , de forma aleatoria.� �
● Estratfcación para muestras representatvas.

13. Comparación entre modelos
k-fold cross-validaton
En la validación cruzada k veces, dividimos
aleatoriamente el conjunto de datos de
entrenamiento en k sub-conjuntos sin reemplazo,
donde se usan k-1 para el entrenamiento modelo y
se usa 1 para la prueba.

14. k-fold cross-validaton

15. Comparación entre modelos
k-fold cross-validaton
Por lo general, utlizamos k-fold cross-validaton
para el ajuste del modelo, es decir, encontrar los
valores de hiperparámetro óptmos que producen
un rendimiento de generalización satsfactorio.

16. Comparación entre modelos
k-fold cross-validaton
Una vez encontrados valores de hiperparámetros
satsfactorios, se vuelve a entrenar el modelo en el
conjunto de entrenamiento completo y obtener una
estmación de rendimiento fnal utlizando el
conjunto de pruebas independiente.

17. Comparación entre modelos
Validación de Modelos
.

18. Comparación entre modelos
Se evaluan los modelos utlizando la precisión (accuracy)
del modelo, que es una medida útl para cuantfcar el
rendimiento de un modelo en general.
Sin embargo, hay otras métricas de rendimiento que se
pueden usar para medir la relevancia de un modelo,
como la precisión, la recuperación y el score-F1.

19. Comparación
algoritmos de
aprendizaje

20. Comparación algoritmos de aprendizaje
Comparar la precisión promedio de hipótesis producidas
por dos métodos distntos de aprendizaje es más difcil
dado que se debe promediar sobre múltples casos de
entrenamiento.

21. Comparación algoritmos de aprendizaje
Matriz de Confusión
Establece el rendimiento de
un algoritmo de aprendizaje.
● verdadero positvo,
● verdadero negatvo,
● falso positvo
● falso negatvo
predicciones de un
clasifcador

22. Análisis ROC

23. Análisis ROC
El Análisis ROC (Receiver operatng characteristcs) es
una metodología desarrollada para analizar un sistema
de decisión
El Análisis ROC trabaja con las nociones de Sensibilidad
y Especifcidad. (Valor predictvo positvo y Valor
predictvo negatvo)

24. Análisis ROC
El objetvo básico del Análisis ROC es dibujar la llamada
curva ROC e incluso calcular un área bajo dicha curva
La llamada AUC (Area Under Curve). Que es un valor
que va de 0 a 1

25. Curvas ROC

26. Característica operativa del receptor
La diagonal de un gráfco ROC se puede interpretar
como adivinar al azar, y los modelos de clasifcación que
se encuentran debajo de la diagonal se consideran
peores que las adivinanzas al azar.

27. Característica operativa del receptor
Un clasifcador perfecto caería en la esquina superior
izquierda del gráfco con una tasa positva verdadera de
1 y una tasa de falsos positvos de 0.
Sobre la base de la curva ROC, podemos calcular el área
bajo la curva (AUC) para caracterizar el rendimiento de
un modelo de clasifcación.

28. Ejemplo

29. Curvas ROC de
un dataset
evaluado con 4
algoritmos de
clasifcación.
Regresión
Logistca, Árbol
de decisión, Knn,
Majority Votng.

30. Fuentes
[1] Raschka, S., 2016. Python machine learning.
Community experience distlled. Packt Publishing,
Birmingham Mumbai.
[2] Curso de Estadístca. Jaume Llopis
Pérez.htps://estadistcaorquestainstrumento.wordpr
ess.com/2013/02/13/tema-23-analisis-roc/