Este documento describe un modelo de mantenimiento predictivo para máquinas industriales que no requiere sensores. Se analizaron los patrones de falla históricos de 150 máquinas para predecir la probabilidad de falla en los próximos 15 días usando variables como tiempo desde la última falla. Los modelos de aprendizaje automático tuvieron mejor desempeño que los modelos de confiabilidad. Un modelo Gaussian Naive Bayes predijo correctamente el 66.66% de fallas y se usó para asignar semáforos (rojo, amarillo,

1. Mantenimiento
predictivo sin sensores
Lic. José Antonio García Ramírez
Tesista MCE y consultor estadístico
jose.ramirez@cimat.mx
Eduardo H. Ramírez, Ph.D.
Director de Innovación y Data Analytics
eduardo@ensitech.com

2. I4.0: Layers & Building blocks
Fuente: Fraunhofer Institute For
Open Communication Systems
Infraestructura
(IIoT)
Sistemas
(CPS)
Aplicaciones
(Smart factory)

3. Mantenimiento predictivo
• Una de las principales tendencias en
aplicaciones de la Industria 4.0
• El objetivo es reducir el costo total del
mantenimiento, que se compone de dos
costos:
• Paros por fallas
• Mantenimientos innecesarios
• Generalmente se implementa con
telemetría

4. Retos del mantenimiento predictivo basado en
telemetría
• Mayor inversión inicial en:
• Sensorizar máquinas
• Arquitectura de datos para análisis de
telemetría
• Desarrollo o integración de nuevas
competencias tecnológicas en la
organización (Automatización, Cloud, Big
data, NoSQL, etc.)
• Tiempo de despliegue

5. Mantenimiento predictivo sin sensores
Proveedor de autopartes, aproximadamente 150 máquinas de procesos
metalmecánicos (cortadoras, dobladoras, soldadoras).
Se desea asignar un semáforo a las máquinas, basado en su probabilidad de
falla en los siguientes 15 días
En función al semáforo modificar la programación de mantenimientos
preventivos para reducir costos y tiempo de paro.
Determinar si existe un modelo predictivo simple e interpretable con
resultados útiles a un nivel práctico

6. Datos y Variables
• El origen de datos es el histórico de incidencias de mantenimiento del cliente, indicando en un
registro consecutivo:
• Planta
• Línea
• Máquina (ID)
• Timestamp de la falla
• Tiempo en arreglar (Downtime)
• Operador de mantenimiento
• La variable de respuesta y={0,1} siendo 1 si la máquina fallará en los siguientes 15 días.
• Se definieron las siguientes variables temporales predictivas para cada máquina:
• dias_ultima_falla: Número de días desde la última falla (365 en caso de no contar con registro)
• num_fallas_(30d, 07d): Número de fallas en los últimos 30 días y 7 días
• t_arreglar_(30d, 07d)_avg: Tiempo promedio en arreglar de fallas en 30 días y 7 días
• t_arreglar_(30d, 07d)_max: Máximo tiempo en arreglar en últimos 30 días
• t_arreglar_(30d, 07d)_last: Tiempo en arreglar de última falla
• No se utilizaron variables categóricas para propiciar mayor generalización del modelo

7. EDA: Patrones de falla

8. EDA: Tiempos entre fallas
KS Test para distribución exponencial
p-value = 2.2e-16
Se rechaza Ho: Distribución exponencial

9. Construcción de training y test set
• El training set se calcula de la siguiente forma:
• Calculamos el estado de todas las variables en una fecha de corte data (t0)
• Calculamos el valor de la variable de respuesta obteniendo las máquinas que
fallaron en el intervalo t0 + 15 días
• El test set, se calcula “avanzando” el reloj a t1 = t0+15
• Recalculamos el valor de las variables independientes.
• Se calculan los valores de la variable de respuesta identificando las fallas en t1+15
• Se repite la generación de training/test set en distintas ventanas de tiempo
para validar la estabilidad de los modelos

10. Evaluación de modelos de confiabilidad
• Se evaluó el enfoque de la teoría de confiabilidad (Meeker, W.Q.; Statistical
Methods for Reliability Data, Wiley, 1998)
• Se evaluaron modelos para eventos recurrentes (Datos longitudinales):
• No-Paramétrico (MCF)
• Paramétricos ( Exponenciales, Weibull, Estratificados )
• Dichos modelos se basan en los supuestos:
• La distribución del tiempo entre eventos es exponencial
• Existe independencia entre fallas
• Existe dependencia entre máquinas
• Las estimaciones de dichos modelos no fueron suficientemente prácticas

11. Evaluación de modelos de ML
• Se evaluaron 3 clases de modelos predictivos con el framework Sci-Kit Learn:
• Suppor Vector Machines
• Logistic Regression
• Gaussian Naive Bayes
• Para el caso de SVM y LR, se hizo tuning de hiperparámetros con GridSearch y Cross-
Validation (GridSearchCV)
• Los modelos se seleccionaron considerando como métricas objetivo (en prioridad):
1. ROC AUC: Área bajo la curva ROC
2. Recall: Porcentaje de True-Positives, es decir, porcentaje de máquinas con falla
identificadas correctamente

12. Curva ROC
• Inventada en la WWII para detectar señales de radar. Al treshold
seleccionado se le denomina “punto de operación” / “operating point”
• Se trata de visualizar la relación entre la probabilidad de detección (TPR) vs.
la probabilidad de obtener falsos positivos (FPR)
• Para cada punto operativo (treshold) se calculan las siguientes métricas
Threshold Sensitivity (TPR) Specificity (TNR) 1 – specificity (FPR)
1 0.0 1.0 0.0
2 0.5 0.75 0.25
3 0.75 0.5 0.5
4 1.0 0.0 1.0

13. Comparación de curvas ROC
• El AUC del clasificador
perfecto es 1
• El AUC del clasificador
Random es 0.5
• Cuando las curvas no se
cruzan, mayor AUC equivale a
mejor desempeño
Fuente:
https://classeval.wordpress.com/simulation-analysis/roc-and-precision-recall-with-imbalanced-datasets/

14. Selección de modelos
ROC AUC = 0.8126 ROC AUC = 0.7581 ROC AUC = 0.7317
SVMGNB RLR

15. Resultados del modelo seleccionados
• El modelo GNB predice correctamente 2 de cada 3 máquinas con falla
en 15 días (Recall=66.66%). Se obtendrá 1 falso negativo (máquina
con falla no identificada) por cada 2 TP.
• Se obtendrán 2 falsos positivos aproximadamente por cada TP
identificado. Se considera preferible obtener falsos positivos a falsos
negativos.
• Estos resultados son útiles desde el punto de vista del negocio

16. Construcción de semáforo
DT=0.80 Predicción
No-Falla
Predicción
Falla
No-Falla 102 10
Falla 10 11
DT=0.65 Predicción
No-Falla
Predicción
Falla
No-Falla 89 23
Falla 9 12
DT=0.50 Predicción
No-Falla
Predicción
Falla
No-Falla 79 33
Falla 7 14
Predicción
No-Falla
Predicción
Falla
No-Falla TN FP
Falla FN TP
Se marcan en rojo las máquinas que se identifican con falla en el treshold más alto
(0.80), con amarillo las que se identifican en los dos tresholds anteriores (0.5,
0.65) y en verde las que en todos los casos se predice no-falla.

17. Trabajo futuro
• Establecer frecuencia de re-entrenamiento óptima del modelo
• Nuevas variables (ej. antigüedad de las máquinas, “compliance”, etc.)
• Implementar controles para subir la calidad de los datos (ej. tiempos
de registro, tiempos de reparación)

18. Conclusiones
• Es factible implementar modelos de mantenimiento predictivo basados
en los patrones temporales de falla, sin usar sensores.
• Los modelos de mantenimiento predictivo basados en patrones de falla
temporales tienen menos requerimientos tecnológicos que los modelos
basados en telemetría
• Pueden desplegarse rápidamente y a bajo costo para un alto número de
máquinas como una primera estrategia de mantenimiento predictivo

19. Gracias!
Lic. José Antonio García Ramírez
Tesista MCE y consultor estadístico
jose.ramirez@cimat.mx
Eduardo H. Ramírez, Ph.D.
Director de Innovación y Data Analytics
eduardo@ensitech.com