Este documento resume conceptos clave sobre datos desbalanceados y técnicas para abordarlos. Explica que los datos desbalanceados ocurren cuando una clase predomina sobre la otra y provee ejemplos como fraude y anomalías. Luego describe estrategias como oversampling y undersampling, así como algoritmos como random forest y redes neuronales, para lidiar con datos desbalanceados. Finalmente, propone algunos proyectos de detección como vehículos autónomos vs particulares y usuarios propensos a usar tarjetas de crédito.

1. Unbalanced data: Same
algorithms different
techniques

2. ORGANIZATION
Thank you!

3. ermartin@plainconcepts.com
Software Development Engineer en Plain Concepts con experiencia en
multitud de campos relacionados con la analítica avanzada, Big Data,
modelos predictivos e Inteligencia Artificial. Apasionado del análisis de
datos y de los insights que se pueden obtener de ellos así como las
últimas tecnologías y algoritmos para explotarlos.
Eric Martín
Software Development Engineer

4. Datos desbalanceados

5. Datos Desbalanceados
• Datos desbalanceados: Una clase predomina sobre la otra
• Ejemplos de datos desbalanceados: Fraude, Anomalías…
¿Qué son los datos desbalanceados?

6. Datos Desbalanceados
• Kaggle Dataset
• The datasets contains transactions made by credit cards in September 2013 by european
cardholders. This dataset presents transactions that occurred in two days, where we have 492
frauds out of 284,807 transactions. The dataset is highly unbalanced, the positive class (frauds)
account for 0.172% of all transactions.
• Análisis exploratorio
Talk is cheap, show me the code
No lo cuento, lo hago

7. Notebook!!

8. Datos desbalanceados: Métricas
• Fraudes 0.172% por lo que si digo que todas están bien acierto 100 -0.172 = 99.828%
• Accuracy no dice nada!!
• ¿Qué métrica debemos usar en este problema?
1𝑀 50
250 250
1𝑀 1000
150 350

9. Datos desbalanceados: Métricas
• No lo sabemos!!!!
• Tenemos que ver el sentido de ‘negocio’:
• Encontrar un fraude evita perdidas de 1500$ de media
• Comprobar un fraude cuesta en promedio 30$
• Precisión
• Recall
• F-beta score
𝑆𝑐𝑜𝑟𝑒 = 𝑇𝑃 ∗ 1500 − (𝐹𝑃) ∗ 30
(Mas alto mejor)

10. Notebook!!

11. Técnicas

12. Estrategias: Over Sampling
• CLASS WEIGHT
• SMOTE: Synthetic Minority Over-Sampling Technique
• ADASYN: Adaptive Synthetic

13. Estrategias: Under Sampling
• DELETE ZEROS
• Condensed KNN
• Instance Hardness Threshold: Estimators

14. Notebook!!

15. Algoritmos

16. Algoritmos
• Algoritmos compuestos de algoritmos mas sencillos
• Típicamente mejoran score y ayudan a reducir la sobre-optimización
• Random Forest
• AdaBoost
Ensemble

17. Algoritmos
• Red simple con 3 capas densas activación = Relu
• Activación a la salida sigmoid (clasificación)
Redes Neuronales

18. Notebook!!

19. EForest

20. EForest – Recordatorio Random Forest
F1 F2 F3 … … … FN Y
1 1.2 25 True … 0.185 1
2 3.4 55 False … 0.211 1
3 2.2 58 True … 0.171 0
4 4.0 34 True … 0.132 1
5 1.1 63 True … 0.652 0
6 0.7 61 False … 0.153 0
7 3.3 12 False … 0.477 1
8 3.1 23 True … 0.311 1
9 1.2 29 False … 0.171 1
10 3.4 45 True … 0.132 0
11 2.1 55 True … 0.652 1
12 1.7 19 False … 0.189 0
13 3.3 12 False … 0.477 1
14 3.1 23 True … 0.311 1
15 1.2 29 False … 0.171 1
16 2.2 58 True … 0.171 0
17 4.0 34 True … 0.132 1
18 1.1 63 True … 0.652 0

21. EForest – Recordatorio Random Forest
F1 F2 F3 … … … FN Y
1.5 25 False … 0.185 ???
1
1
0
1
Majority Vote

22. EForest
F1 F2 F3 … … … FN Y
1 1.2 25 True … 0.185 1
2 3.4 55 False … 0.211 1
3 2.2 58 True … 0.171 0
4 4.0 34 True … 0.132 1
5 1.1 63 True … 0.652 0
6 0.7 61 False … 0.153 0
7 3.3 12 False … 0.477 1
8 3.1 23 True … 0.311 1
9 1.2 29 False … 0.171 1
10 3.4 45 True … 0.132 0
11 2.1 55 True … 0.652 1
12 1.7 19 False … 0.189 0
13 3.3 12 False … 0.477 1
14 3.1 23 True … 0.311 1
15 1.2 29 False … 0.171 1
16 2.2 58 True … 0.171 0
17 4.0 34 True … 0.132 1
18 1.1 63 True … 0.652 0

23. EForest
F1 F2 F3 … … … FN Y
1 1.2 25 True … 0.185 1
2 3.4 55 False … 0.211 1
3 2.2 58 True … 0.171 0
4 4.0 34 True … 0.132 1
5 1.1 63 True … 0.652 0
6 0.7 61 False … 0.153 0
7 3.3 12 False … 0.477 1
8 3.1 23 True … 0.311 1
9 1.2 29 False … 0.171 1
10 3.4 45 True … 0.132 0
11 2.1 55 True … 0.652 1
12 1.7 19 False … 0.189 0
13 3.3 12 False … 0.477 1
14 3.1 23 True … 0.311 1
15 1.2 29 False … 0.171 1
16 2.2 58 True … 0.171 0
17 4.0 34 True … 0.132 1
18 1.1 63 True … 0.652 0
Tree1 Tree2 Tree3 Y
1 1 1 0 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

24. EForest
Tree1 Tree2 Tree3 Y
1 1 1 0 1
2 1 0 1 1
3 1 1 1 0
4 0 1 0 1
5 0 0 0 0
6 1 0 1 0
7 0 1 0 1
8 0 1 0 1
9 1 0 1 1
10 1 1 0 0
11 0 1 0 1
12 0 0 1 0
13 1 0 1 1
14 1 1 0 1
15 1 1 0 1
16 0 0 1 0
17 0 1 0 1
18 1 0 0 0

25. EForest: Vector vs Agregado
Tree1 Tree2 Tree3 Y
1 1 1 0 1
2 1 0 1 1
3 1 1 1 0
4 0 1 0 1
5 0 0 0 0
6 1 0 1 0
7 0 1 0 1
8 0 1 0 1
Agg Y
1 2 1
2 2 1
3 3 0
4 0 1
5 1 0
6 2 0
7 1 1
8 1 1

26. EForest: Proyectos
• Detección autónomos vs particulares
• Usuarios propensos a usar tarjetas de crédito

27. Notebook!!

28. Conclusiones

29. Questions & Answers

30. Una cosa más:
Challenge
time!!!
Kahoot.it
¿Cuánto sabes de IA,
ML y Big Data?
https://play.kahoot.it/#/lobby?quizId=e5984d86-88fb-49cc-
aacc-4baaec119496

31. Thanks and …
See you soon!
Thanks also to the organization
Without whom this would not have been posible.