Nowadays, a remarkable and growing market share is turning to using viable and economic development techniques. This development philosophy is expressed in the automotive industry via continuously increasing vehicle and system auton omy. To grow this approach further, innovative policies and development strategies have been inaugurated by companies and are integral to their reliable and profitable operation. This development approach results to direct technological and scientific innovations. Lately, several research publications aspire to develop reliable detection algo rithms and techniques to supplement autonomous driving. Initially, the approaches were to assist the driver in braking, lane keeping and parking tasks. Lately, more complex fully-automated image processing and object detection computer vision philosophies are being developed. This thesis’ purpose is the development of a system reliant on optical means to detect and classify the vehicular environment to ensure its full autonomy. Initially, a method of determining the vehicle’s current and adjacent lanes is developed. Ad ditionally, road intersections and roundabouts are detected, with or without traffic lights. Finally, the use and training of YOLO type deep neural networks are proposed to supplement object detection. The YOLO deep neural networks are proven to produce enhanced and more reliable results in contrast to traditional neural networks. This thesis’ scope was fulfilled by training the model to detect vehicles, bikes, motorbikes, pedestrians, traffic lights and traffic signs.

1. Αντίληψη αυτόνομου οχήματος
με χρήση κάμερας
Γεώργιος Σαββίδης
ΑΕΜ: 9046
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Πολυτεχνική Σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών
Υπολογιστών
Επιβλέποντες: Ανδρέας Συμεωνίδης
Καθηγητής Α.Π.Θ
Εμμανουήλ Τσαρδούλιας
Ερευνητής Α.Π.Θ
Θεσσαλονίκη, Μάρτιος 2022

2. Εισαγωγή 03
Θεωρητικό υπόβαθρο 05
Μεθοδολογία 06
Αποτελέσματα & Αξιολόγηση 20
Συμπεράσματα 24
Μελλοντική Εργασία 25
Περιεχόμενα
Διπλωματικής

3. Περιγραφή του προβλήματος
Οδικά ατυχήματα
Το 2020 υπήρξαν πάνω από 8000 ατυχήματα στην
Ελλάδα.
01
Αναξιοπιστία ανθρώπου
Λόγω ιατρικού επεισοδίου, απόσπασης προσοχής ή
της ίδιας της ανθρώπινης φύσης.
02
Κυκλοφοριακή συμφόρηση
Πέντε από τα επτά αίτια κυκλοφοριακής συμφόρησης
αποδίδονται στον άνθρωπο
03

4. Στόχοι της διπλωματικής
Ανάπτυξη συνόλου δεδομένων
Σύνολο δεδομένων για την εκπαίδευση των απαραίτητων
νευρωνικών δικτύων
Αναγνώριση λωρίδων κίνησης
Τρέχουσα λωρίδα του οχήματος και προσκείμενες αυτής.
Κατεύθυνση λωρίδων και είδους διαχωριστικών μεταξύ τους.
Αναγνώριση οδικών αντικειμένων
Οχήματα, μηχανές, ποδήλατα, πεζοί, φωτεινοί σηματοδότες και
λοιπή σήμανση.
Αναγνώριση οδικών κόμβων
Κανονικοί, κυκλικοί και σημείο εκκίνησης αυτών.

5. Θεωρητικό
υπόβαθρο
Θεωρητικό υπόβαθρο
03
02
01
Αυτόνομη οδήγηση
”Αυτοδιάθεση εντός ενός υφιστάμενου νόμου”,
- Καντ
Μηχανική όραση
Μηχανική μάθηση
“Τομέας μελέτης που δίνει τη δυνατότητα
στους υπολογιστές να μαθαίνουν χωρίς
να έχουν ρητά προγραμματιστεί”,
-Ά. Σάμουελ
06
05
04
Πλήρως αυτόνομη οδήγηση
Αυτονομία επιπέδου 5. Καμία ανθρώπινη
παρέμβαση. Ανεξάρτητο οδηγικών
καταστάσεων
Βιβλιοθήκες
OpenCV - Μηχανική όραση
pytesseract - Αναγνώριση κειμένου
Εργαλεία
CARLA - Προσομοιωτής οδικού
περιβάλλοντος
LabelImg - Ετικετοποίηση εικόνας

6. Υποθέσεις
Ρεαλιστικό περιβάλλον
Πάρκα, κτίρια, δάση, πεζοδρόμια, φράκτες κλπ.
01
Κίνηση πεζών
Κυρίως κατά μήκος πεζοδρομίων και διαβάσεων.
Σπάνια εμφανίζουν απερίσκεπτη συμπεριφορά.
02
Κίνηση οχημάτων
Τηρείται ο Κώδικας Οδικής Κυκλοφορίας. Σπάνια
εμφανίζουν απερίσκεπτη συμπεριφορά
03
Καμία εξωτερική υποβοήθηση
Δεν υπάρχει εξωτερική πληροφορία όπως χάρτες,
θέσεις και πορείες οδικών οντοτήτων κλπ.
04

7. Αρχιτεκτονική συστήματος
Πλήρως αυτόνομο
Αυτονομία επιπέδου 5.
Καμία ανθρώπινη
παρέμβαση.
Ανεξάρτητο οδηγικών
καταστάσεων.
Αρθρωτό
Διοχέτευση δεδομενων.
Διαχωρισμός σε δομή
υποσυστημάτων.
Μεμονωμένο
Εκτέλεση λειτουργιων στο
ίδιο το οχημα.
Κάμερα
Χρήση μίας κάμερας τριών
χρωματικών καναλιών.
01 02 03 04

8. Αρθρωτά
Μεμονωμένα
Πλήρως
Αυτόνομα
Οχήματα
Αρχιτεκτονική συστήματος
Εντοπισμός Θέσης
Χαρτογράφηση
Αξιολόγηση
Αντίληψη
Σχεδιασμός και
Λήψη Αποφάσεων
Έλεγχος οχήματος

9. Σύνολο δεδομένων
Οχήματα Ποδήλατα Μηχανές Πεζοί
Φωτεινοί
Σηματοδότες Σήμανση
Αριθμός 3391 1377 2014 1483 1801 530
Ποσοστό 32% 13% 19% 14% 17% 5%
Αναπτύχθηκε με χρήση του προγράμματος LabelImg

10. Αναγνώριση λωρίδας
01 03 04
02
Προεπεξεργασία ακμών
Χρήση αλγορίθμου Canny. Καθορισμός
ενεργών περιγραμμάτων.
Προεπεξεργασία εικόνας
Μετατροπή σε ασπρόμαυρη. Θόλωση
εικόνας. Αποσύνθεση εικόνας. Φίλτρο
χρωματικού κατωφλίου.
Ορισμός λωρίδων
Σύνθεση γραμμών σε τελικές λωρίδες.
Αναγνώριση ακμών
Χρήση μετασχηματισμού Hough.

11. 01
Προεπεξεργασία εικόνας
Μετατροπή σε ασπρόμαυρη. Θόλωση
εικόνας. Αποσύνθεση εικόνας. Φίλτρο
χρωματικού κατωφλίου.
Αναγνώριση λωρίδας

12. Αναγνώριση λωρίδας
02
Προεπεξεργασία ακμών
Χρήση αλγορίθμου Canny. Καθορισμός ενεργών
περιγραμμάτων.

13. Αναγνώριση λωρίδας
03
Αναγνώριση ακμών
Χρήση μετασχηματισμού Hough.

14. Αναγνώριση λωρίδας
04
Ορισμός λωρίδων
Σύνθεση γραμμών σε τελικές λωρίδες.

15. Αναγνώριση προσκείμενων λωρίδων
Ορισμός πιθανών
προσκείμενων
λωρίδων
Αποσύνθεση αρχικής
εικόνας.
Καθορισμός
χρώματος
Χρήση k-means για
καθορισμό χρωματικών
συστάδων.
Χρωματική
απόσταση
Χρήση μετρικής μέσης
τιμής κόκκινου.
Αναγνώριση τύπου
διαχωριστικών
γραμμών
Κριτήρια καθορισμού:
● Απόσταση ακμών
● Μέγεθος ακμών
● Χωροταξία ακμών
στην εικόνα
01 02 03 04

16. Αναγνώριση οδικών κόμβων
Χρήση σημείων λωρίδας
Εξαγωγή οριακών σημείων
Οριακά σημεία διαχωριστικών γραμμών τρέχουσας
λωρίδας κίνησης.
Κίνηση οριακών σημείων
Κατά την ύπαρξη οδικού κόμβου τα οριακά σημεία
πλησιάζουν το όχημα με καθορισμένο τρόπο.
Αναγνώριση διακεκομμένης γραμμής
Η κίνηση των οριακών σημείων στην περίπτωση
οδικού κόμβου μοιάζει με αυτή στη περίπτωση
ύπαρξης διακεκομμένων.

17. Αναγνώριση οδικών κόμβων
Χρήση οριζόντιων γραμμών
Αναγνώριση ακμών
Προεπεξεργασία εικόνας. Αναγνώριση οριζοντίων
ακμών.
Τοπολογία ακμών
Κριτήρια καθορισμού:
● Απόσταση ακμών
● Χωροταξία ακμών στην εικόνα

18. Αναγνώριση αντικειμένων
Οχήματα Ποδήλατα Μηχανές Πεζοί
Φωτεινοί
Σηματοδότες Σήμανση
YOLO
Ταχύτητα
Λόγω του διαχωρισμού της εικόνας σε πλέγμα.
01
Ακρίβεια
Αντίστοιχη ακρίβεια με state-of-the-art νευρωνικά
δίκτυα.
02
Tiny-YOLO

19. Αναγνώριση συμβολοσειρών στη σήμανση
Προεπεξεργασία εικόνας
Αποσύνθεση εικόνας. Θόλωση εικόνας. Χρωματικό
φίλτρο κατωφλίου.
Λειτουργία μορφολογίας
Διαστολή εικόνας
Εξαγωγή συμβολοσειρών
Εξαγωγή ορίου ταχύτητας.

20. Αποτελέσματα & Αξιολόγηση
Αναγνώριση τρέχουσας
λωρίδας
Ποσοστό
Αναγνώρισης
Σφάλμα αναγνώρισης
α β
Εύκολη 98,1% 4,32% 2,8%
Δύσκολη 93,3% 5,03% 3,28%
Αναγνώριση
προσκείμενων λωρίδων
κίνησης
Ποσοστό
Αναγνώρισης
Ποσοστό αναγνώρισης είδους
Επεξεργασία
εικόνας
Κίνηση
σημείων
Εύκολη 95% 92,5% 96,3%
Δύσκολη 46,8% 82,4% 88,9%

21. Αποτελέσματα & Αξιολόγηση
Αναγνώριση οδικών κόμβων
Οριζόντιες γραμμές Κίνηση σημείων
Ποσοστό 77,2% 78,5%
Αφαίρεση ψευδώς θετικών
Αφαίρεση περιπτώσεων:
● Σήμανσης οδοστρώματος
● Όταν το όχημα ήταν στατικό
Αναγνώριση οδικών κόμβων
Οριζόντιες γραμμές
Ποσοστό 100% (!!!)

22. Αναγνώριση
αντικειμένων
Οχήματα Ποδήλατα Μηχανές Πεζοί
Φωτεινοί
Σηματοδότες Σήμανση
YOLO 91% 88% 92% 61% 67% 97.5%
Tiny-YOLO 90% 83% 82% 44% 48% 0.05%
Αποτελέσματα & Αξιολόγηση

23. Αποτελέσματα & Αξιολόγηση
Αναγνώριση κειμένου
σήμανσης
Πλήρως Μερικώς Λανθασμένα Καμία
Εύκολη 100% 0% 0% 0%
Κανονική 85,4% 7,3% 4,9% 2,4%
Δύσκολη 21,1% 21,1% 10,5% 47,4%

24. Συμπεράσματα
1. Αναγνώριση διαχωριστικών γραμμών
Αρκετά καλή απόδοση.
2. Αναγνώριση προσκείμενων λωρίδων και
είδους αυτών
Αξιόπιστη ανίχνευση προσκείμενων λωρίδων. Το είδος αυτών
αναγνωρίζεται με 2 προσεγγίσεις με πολύ καλά αποτελέσματα.
3. Αναγνώριση αντικειμένων
Ικανοποιητική απόδοση.
4. Αναγνώριση οδικών κόμβων
Μέτρια απόδοση. Αφαιρώντας τα ψευδώς θετικά η απόδοση αγγίζει το
100%.
5. Εξαγωγή κειμένου από σήμανση
Άριστη απόδοση σε φυσιολογικές συνθήκες.

25. Μελλοντική εργασία
Χρήση LIDAR
Παρέχει αυξημένη ακρίβεια και δυνατότητα χαρτογράφησης του
περιβάλλοντος.
Προσαρμοστικός καθορισμός
σταθερών
Σχεδόν σε κάθε αναπτυγμένο αλγόριθμο υπήρχαν καθορισμένες
σταθερές.
Εμπλουτισμός συνόλου δεδομένων
Το σύνολο δεδομένων φαίνεται πως δεν αποτελείται από επαρκή
αριθμό εικόνων.
Κατάτμηση εικόνας
Μικρότερες εικόνες προς επεξεργασία μειώνουν την πιθανότητα
λανθασμένης επεξεργασίας σε κομμάτια αυτής.

26. Copyright (C) SlideSalad.com All rights reserved.
Free SlideSalad Google Slides Template
Ευχαριστώ πολύ!
Αντίληψη αυτόνομου οχήματος
με χρήση κάμερας
Γεώργιος Σαββίδης
ΑΕΜ: 9046