The field of Edge AI refers to the development of artificial intelligence that has the capability of processing data and run locally on hardware devices, without necessarily connecting them to the internet. Therefore, processes such as data creation can be performed without the need of uploading or downloading data from the Cloud. A main consequence of the above is the reduction of the response time of a system to extract results on a process. This triggers the development of artificial intelligence applications at the edge. Specifically, on the field of predictive maintenance at industrial level, applications of artificial intelligence at the edge can provide operational state recognition for machines in real time. This diploma thesis presents two methodological approaches to detect three states of operation, for a DC motor. These states are named as good, broken, and heavy load. Initially, for both approaches, features are extracted on the audio data of the IDMT-Isa-ELECTRIC-ENGINE dataset, after undergoing the appropriate pre-processing. A different neural network is then trained with CNN approach. Subsequently, the two models are subject to a post-training quantization process and an appropriate conversion and compression process in order to be inserted into Stm32 Discovery Kit IoT node board. After the completion of the implementations, an experimental application shall be carried out using the board to check the performance of the models on the recognition of the three sound states of the engine’s operation, as well as their response in cases of real-time change of the states. In conclusion, the results of the above procedures are presented, and conclusions are drawn on the performance of the models.

1. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Κωσταντίνος Στράντζαλης (ΑΕΜ: 8434)
Επιβλέποντας: Ανδρέας Συμεωνίδης (Αναπληρωτής Καθηγητής)
Συνεπιβλέποντες: Παναγιώτης Κατσαρός (Αναπληρωτής Καθηγητής),
Φώτιος Γκιουλέκας (Μεταδιδακτορικός Ερευνητής)

2. Περιεχόμενα

3. Σκοπός της διπλωματικής εργασίας

4. Περιεχόμενα

5. Γνώσεις που αποκτήθηκαν

6. Περιεχόμενα

7. Πλακέτα STM32 Discovery kit IoT node

8. Σετ δεδομένων (IDMT-ISA-ELECTRIC-ENGINE)
• Hχητικές καταγραφές από έναν κινητήρα συνεχούς ρεύματος για τρείς
καταστάσεις λειτουργίας: Good, Broken και Heavy Load.
• Συχνότητα δειγματοληψίας 44100 Hz, μορφή αποθήκευσης WAVE.
• Είδος κινητήρα: ACT Motor Brushless DC 42BLF01, 4000 RPM, 24VDC.

9. Περιπτώσεις περιβαλλοντικών
καταστάσεων
Περιγραφή
Pure
Καταγραφές χωρίς την παρουσία άλλων ήχων
ή θορύβου.
Talking
Καταγραφές με τη παρουσία ήχων από ομιλία
ανθρώπων.
White Noise
Καταγραφές με την παρουσία λευκού
θορύβου που αναπαράγεται από ηχεία.
Atmo
Καταγραφές με την παρουσία ήχων από
περιβάλλον εργοστασίου σε τρία επίπεδα
έντασης (χαμηλό, μεσαίο, υψηλό) που
αναπαράγονται με τη χρήση ηχείων.
Stress Test
Καταγραφές, με προσομοιωμένες παραλλαγές
στη διάταξη και προσομοίωση για οριακές
περιπτώσεις.
Σετ δεδομένων (IDMT-ISA-ELECTRIC-ENGINE)

10. Είδος ηχητικών καταγραφών Διάρκεια (λεπτά)
Pure 15
Talking 18
Atmo (high) 9
Atmo (medium) 9
Atmo (low) 9
White noise 9
Stresstest 6:06
Χρήση δεδομένωνήχου για τις υλοποιήσεις

11. Προ-επεξεργασία δεδομένων:
Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM

12. Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM
Αρχιτεκτονική νευρωνικού δικτύου (Keras):
Διαδικασία compile και εκπαίδευσης:
Συνάρτηση απωλειών Categorical Cross
Entropy
Βελτιστοποιητής Stochastic Gradient
Descent
Μετρική Ακρίβεια
Εποχές 10

13. Εξαγωγή μοντέλου TensorFlowLite:
Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM

14. Μετατροπή σε μοντέλο C μέσω του εργαλείου X-CUBE-AI:
• Συμπίεση του νευρωνικού δικτύου.
• Βελτιστοποίηση στη χρήση της μνήμης (RAM & ROM).
• Παραγωγή του βελτιστοποιημένου C κώδικα που αφορά τα απαραίτητα αρχεία για
την τοπολογία, τα βάρη και τα bias του νευρωνικού δικτύου.
Οι διαδικασίες βελτιστοποίησης βασίζονται στις εξής τεχνικές:
• Συμπίεση βαρών.
• Συγχώνευση στρωμάτων.
• Βέλτιστη ενεργοποίηση / λειτουργία μνήμης.
Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM

15. Μετατροπή σε μοντέλο C μέσω του εργαλείου X-CUBE-AI:
Χαρακτηριστικά μοντέλου
Complexity 501.428 MACC
Flash occupation 7,65 KB
RAM 5,52 KB
Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM

16. Εφαρμογή στο STM32 Discovery kit IoT node:
Μεθοδολογική προσέγγιση βασισμένηστα εργαλεία
λογισμικού της STM

17. Εξαγωγή χαρακτηριστικών (Mel Frequency Cepstral Coefficients (MFCC’s)):
• Διαχωρισμός δεδομένων σε παράθυρα 1 sec με επικάλυψη 0,5 sec.
• Εκτέλεση FFT με μήκος 256 δείγματα για πλαίσια 20 ms.
• Μετατροπή σε κλίμακα Mel και χρήση 32 Mel φίλτρων.
• Επιλογή 13 Cepstral Coefficients.
Good Broken Heavy Load
Μεθοδολογική προσέγγιση βασισμένηστο Edge
Impulse

18. Προσδιορισμός νευρωνικού δικτύου:
Μεθοδολογική προσέγγιση βασισμένηστο Edge
Impulse
Συνάρτηση απωλειών Categorical Cross
Entropy
Βελτιστοποιητής Adam
Μετρική Ακρίβεια
Εποχές 90

19. Διαδικασία εξαγωγής του εκτελέσιμου αρχείου για το STM32 Discovery Kit IoT
Node:
1. Το περιβάλλον Edge Impulse παρέχει τη δυνατότητα μιας αυτοματοποιημένης
διαδικασίας για την εξαγωγή του εκτελέσιμου προγράμματος για το STM32 Discovery
Kit IoT Node.
2. Επιλογή της πλακέτας με τη δυνατότητα επιλογής ανάμεσα σε δύο περιπτώσεις:
Quantized μοντέλο και Unoptimized μοντέλο.
3. Επιλογή του Quantized μοντέλου που παρουσιάζει καλύτερες επιδόσεις σε επίπεδα
μνήμης (RAM και ROM), καθώς και σε χρόνο απόκρισης.
4. Παραγωγή εκτελέσιμου αρχείου .bin.
Μεθοδολογική προσέγγιση βασισμένηστο Edge
Impulse

20. Έλεγχος επίδοσης των μοντέλωνσε πραγματικό
χρόνοστο STM32 Discovery kit IoT node

21. Περιεχόμενα

22. Μοντέλο STM
Αποτελέσματα εκπαίδευσης, επικύρωσης και ελέγχου:
Good Broken Heavy Load
Good 10637 1 2
Broken 0 10587 8
Heavy Load 32 0 10635
Ακρίβεια εκπαίδευσης Ακρίβεια επικύρωσης Απώλεια εκπαίδευσης Απώλεια επικύρωσης
99,91% 99,87%. 0,0073 0,0074

23. Αποτελέσματα επικύρωσης στο περιβάλλον CubeMX μέσω της χρήσης του
εργαλείου X-CUBE-AI:
Μοντέλο STM

24. Μοντέλο Edge Impulse
Αποτελέσματα εκπαίδευσης και πληροφορίες επίδοσης του μοντέλου για τη
χρήση του στη πλακέτα:
Πίνακας σύγχυσης:

25. Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο
στη πλακέτα
Good – Broken:
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος Good
(%)
92 89 89 90 90 84 77 82
Μέσος όρος
Broken (%)
89 88 89 90 88 91 90 61
Χρόνος
Απόκρισης
Μετάβασης (sec)
4,46 4,62 4,61 4,23 4,65 4,25 3,73 5,22

26. 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος Good
(%)
90 89 90 89 90 89 88 89
Μέσος όρος
Heavy Load (%)
87 59 79 81 80 84 80 58
Χρόνος
Απόκρισης
Μετάβασης (sec)
5,43 8,14 4,86 4,22 5,09 4,63 4,29 9,07
Good – Heavy Load:
Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο
στη πλακέτα

27. 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος
Heavy Load (%)
89 64 83 86 85 78 71 56
Μέσος όρος
Broken (%)
89 88 88 89 87 89 88 72
Χρόνος
Απόκρισης
Μετάβασης (sec)
3,68 3,63 4,16 4,31 4,60 3,97 4,19 4,54
Heavy Load – Broken:
Αποτελέσματα μοντέλου STM σε πραγματικόχρόνο
στη πλακέτα

28. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος Good
(%)
87,2 81,7 87,1 97,8 91,4 80,4 97,9 54,9
Μέσος όρος
Broken (%)
99,6 65,3 85,7 99,6 91,7 99,6 90,2 92,5
Χρόνος
Απόκρισης
Μετάβασης (sec)
3,31 4,62 3,94 5,22 3,75 2,13 2,32 2,62
Good– Broken:
Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό
χρόνοστη πλακέτα

29. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος Good
(%)
95,9 85,2 95,8 96,1 96,4 96,4 71,9 72,6
Μέσος όρος
Heavy Load (%)
99,6 82,5 99,2 99,6 81 99,6 94,8 84,6
Χρόνος
Απόκρισης
Μετάβασης (sec)
2,92 2,95 5,17 3,32 4,39 3,96 2,27 5,80
Good– Heavy Load:
Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό
χρόνοστη πλακέτα

30. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
0%
20%
40%
60%
80%
100%
Pure
Good Broken Heavy Load
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
0%
20%
40%
60%
80%
100%
Pure - Custom Stress Test
Good Broken Heavy Load
Pure
Atmo
High
Atmo
Medium
Atmo
Low
Talking
White
Noise
Stress
Test
Custom
Stress
Test
Μέσος όρος
Heavy Load (%)
99,6 94,6 99,5 99,6 94,5 97,7 92,0 84,9
Μέσος όρος
Broken (%)
99,6 69,3 85,8 99,6 99,4 99,6 99,5 68,7
Χρόνος
Απόκρισης
Μετάβασης (sec)
3,23 5,39 5,31 4,95 3,23 3,69 5,11 2,31
Heavy Load – Broken:
Αποτελέσματα μοντέλου Edge Impulse σε πραγματικό
χρόνοστη πλακέτα

31. Περιεχόμενα

32. Συμπεράσματα
Συγκριτική ανάλυση των μοντέλων σε 5 άξονες:
1. Πίνακας σύγχυσης κάθε μοντέλου για όλο το φάσμα των πειραμάτων:
Πίνακας σύγχυσης για το μοντέλο STM.
Πίνακας σύγχυσης για το μοντέλο Edge Impulse.
2. Χρόνοι απόκρισης μετάβασης καταστάσεων κινητήρα:
Good Broken
Heavy
Load
Good 100% 0% 0%
Broken 5,90% 89,26% 4,84%
Heavy
Load
11,16% 0% 88,84%
Good Broken
Heavy
Load
Good 89,06% 0% 10,94%
Broken 2,63% 94,74% 2,63%
Heavy
Load
3,65% 0,73% 95,62%
Μοντέλο STM Μοντέλο Edge Impulse
4,55 sec 3,83 sec

33. 3. Κατανάλωση RAM και ROM των νευρωνικών δικτύων:
4. Ευκολία υλοποίησης:
5. Περιορισμοί:
Συμπεράσματα
STM Edge Impulse
STM Edge Impulse

34. Μελλοντική Εργασία
Χρήση άλλων αισθητήρων της πλακέτας:
 Επιταχυνσιόμετρο, για τη μέτρηση των δονήσεων που παράγει ο κινητήρας.
 Αισθητήρας θερμοκρασίας, για την ανίχνευση της περίπτωσης
υπερθέρμανσης.
Προσθήκη περισσότερων κλάσεων για τις καταστάσεις λειτουργίας
του κινητήρα:
 Διαφορετικές περιπτώσεις για τις καταστάσεις λειτουργίας, που μπορούν να
περιλαμβάνουν συγκεκριμένα είδη σφαλμάτων για τον κινητήρα, καθώς και
του τμήματος που παρουσιάζει βλάβη.
 Αποτέλεσμα, η αναλυτική και συγκεκριμενοποιημένη ανίχνευση σφαλμάτων,
γεγονός που οδηγεί στην εξοικονόμηση προσπάθειας και χρόνου.
Χρήση μίας πλακέτας σε ένα περιβάλλον λειτουργίας πολλών
κινητήρων ίδιου τύπου:
 Χρήση του συνόλου των ήχων που παράγονται από τους κινητήρες.
 Ανίχνευση της ενδεχόμενης μετάβασης ενός κινητήρα από την κανονική του
λειτουργία σε κάποια άλλη.

35. Ευχαριστίες
Θα ήθελα να ευχαριστήσω θερμά τον καθηγητή μου και επιβλέποντα
κ. Ανδρέα Συμεωνίδη για την εμπιστοσύνη που μου έδειξε για την ανάληψη
αυτής της διπλωματικής εργασίας. Έπειτα, θα ήθελα να ευχαριστήσω
βαθύτατα τον συνεπιβλέποντα και αναπληρωτή καθηγητή του τμήματος
πληροφορικής του Α.Π.Θ. κ. Παναγιώτη Κατσαρό για το έναυσμα που μου
έδωσε στην ενασχόλησή μου με το θέμα της συγκεκριμένης διπλωματικής
εργασίας. Επιπλέον, θα ήθελα να εκφράσω την ευγνωμοσύνη μου στον
μεταδιδάκτωρ του τμήματος πληροφορικής Α.Π.Θ. κ. Φώτιο Γκιουλέκα για
την καθοδήγηση που μου παρείχε καθ’ όλη τη διάρκεια έως και τη
διεκπεραίωση του τελικού αποτελέσματος.
Θα ήθελα επίσης να ευχαριστήσω ιδιαίτερα τους γονείς μου για την
στήριξη που μου παρείχαν σε όλη τη διάρκεια των σπουδών μου. Τέλος, δε θα
μπορούσα να ξεχάσω τους στενούς μου φίλους που στέκονται πάντα δίπλα
μου, αλλά και να ευχαριστήσω από καρδιάς συγκεκριμένα στον παιδικό μου
φίλο Χαράλαμπο Μπούμη που είναι πάντα στο πλευρό μου στις εύκολες αλλά
και στις δύσκολες στιγμές.

36. Ερωτήσεις