Ιωάννη Α. Ζαφειρίου

Ιωάννη Α. Ζαφειρίου
Αναγνώριση προφίλ μηχανικών λογισμικού μέσω εφαρμογής τεχνικών εξόρυξης δεδομένων σε πηγαίο κώδικα και σχόλια στο GitHub Ιωάννης Ζαφειρίου Υπό την επίβλεψη του Επ. Καθηγητή κ. Ανδρέα Λ. Συμεωνίδη Θεσσαλονίκη, 29-6-2017 1
Περιεχόμενα  Εισαγωγή  Σκοπός της διπλωματικής  Γνώσεις που αποκτήθηκαν  Μεθοδολογία  Πειράματα – Αποτελέσματα Συμπεράσματα  Συμπεράσματα – Μελλοντική εργασία 2
Περιεχόμενα  Εισαγωγή  Σκοπός της διπλωματικής  Γνώσεις που αποκτήθηκαν  Μεθοδολογία  Πειράματα – Αποτελέσματα Συμπεράσματα  Συμπεράσματα – Μελλοντική εργασία 3
Η επιθυμία για ευελιξία Το κόστος των αλλαγών αυξάνει δραματικά σε προχωρημένα στάδια της ανάπτυξης Δυνατότητα προσαρμογής σε αλλαγές, διατηρώντας χαμηλό προφίλ κόστους Γέννηση μοντέρνων προσεγγίσεων στην ανάπτυξη λογισμικού 4
Μοντέρνες προσεγγίσεις ανάπτυξης λογισμικού Πηγή: http://stateofagile.versionone.com/ Διαφορές από τις κλασσικές προσεγγίσεις: o Ένταξη του πελάτη στη διαδικασία ανάπτυξης o Στενή συνεργασία μεταξύ διεπιστημονικών, αυτοργανούμενων ομάδων o Έμφαση στην άμεση και διαρκή επικοινωνία Χαρακτηριστικά παραδείγματα: o Agile o DevOps 5
Το πρόβλημα Πηγή: http://stateofagile.versionone.com/ Δημιουργείται ανάγκη • Εντοπισμού τέτοιων ατόμων • Αξιολόγησης των δεξιοτήτων τους Ζήτηση για μηχανικούς που διαθέτουν εξίσου τεχνικές και επικοινωνιακές δεξιότητες 6
Περιεχόμενα  Εισαγωγή  Στόχος της διπλωματικής  Γνώσεις που αποκτήθηκαν  Μεθοδολογία  Πειράματα – Αποτελέσματα Συμπεράσματα  Συμπεράσματα – Μελλοντική εργασία 7
Στόχος της διπλωματικής • Συλλογή δεδομένων για τη δραστηριότητα μηχανικών σε projects • Εξαγωγή χαρακτηριστικών του είδους και της δυναμικότητας της συνεισφοράς τους σε αυτά • Αναγνώριση των ρόλων που αναλαμβάνουν οι μηχανικοί στα projects • Αξιολόγηση της δυναμικότητας της συνεισφοράς τους 8
Περιεχόμενα  Εισαγωγή  Σκοπός της διπλωματικής  Γνώσεις που αποκτήθηκαν  Μεθοδολογία  Πειράματα – Αποτελέσματα  Συμπεράσματα – Μελλοντική εργασία 9
Γνώσεις που αποκτήθηκαν Συλλογή δεδομένων από ιστοσελίδες Σχεδίαση και διατήρηση αποθήκης εγγράφων Στατική ανάλυση πηγαίου κώδικα Μέθοδοι κατηγοριοποίησης και αξιολόγησης μηχανικών Εφαρμογή τεχνικών εξόρυξης δεδομένων 10
• Data Collection Raw Activity Data • Data Analysis Principled Data • Document Repository Structured Data • Query Construction Engineer Activity Features • Data Mining Clustering Models • Model Evaluation Evaluation Report Μεθοδολογία GitHub 12
Data Collection GitHub • Επιλογή του GitHub ως πηγή δεδομένων για τη δραστηριότητα των μηχανικών • Συλλογή δεδομένων από δημόσια repositories • Αποθήκευση αποτελεσμάτων o Συνολικά 46 java repositories με διαφορετικά χαρακτηριστικά όπως μέγεθος και δημοτικότητα o 4 κατηγορίες δραστηριότητας/συνεισφοράς (commits, pulls, issues, comments) 13
Data Collection o Issues: Προβλήματα προς επίλυση, αιτήσεις νέων features, to-do list o Commits: Αλλαγές στα αρχεία του repository o Pulls: Αιτήσεις για συγχώνευση commits o Comments: Σχόλια που γράφονται συζητώντας τις παραπάνω μορφές δραστηριότητας o Τεράστιο πλήθος εγγράφων o Παροχή περιττής πληροφορία 14
Data Analysis & Document Repository • Απόρριψη περίσσειας πληροφορίας για τον κάθε τύπο δραστηριότητας/συνεισφοράς • Εφαρμογή στατικής ανάλυσης πηγαίου κώδικα στο περιεχόμενο των commits • Αρχειοθέτηση των αποτελεσμάτων σε αποθήκη εγγράφων 15
Static Source Code Analysis Στόχος: Ανίχνευση των σφαλμάτων που εισάγονται στο σύστημα με κάποιο commit Εργαλείο: PMD Κανόνες που ελέγχθηκαν: • Βασικοί (Basic, Braces, Naming) • Αναγνωσιμότητας (Empty Code, Comments, Code Size) • Ποιότητας (Junit, Strict Exceptions, Security Code Guidelines, Unnecessary Code) 16
Document Repository • Υλοποιήθηκε αξιοποιώντας Elasticsearch • Schema-free, κατανεμημένη μηχανή αναζήτησης, βασισμένη στη Lucene • Αρχειοθέτηση JSON εγγράφων σε μητρώα • Αναζήτηση συγκεκριμένων εγγράφων υποβάλλοντας HTTP ερωτήματα • Δημιουργήθηκαν 4 μητρώα (commits, issues, pulls, contributors) 17
Commits Index Περιλαμβάνει όλα τα commits που συγκεντρώθηκαν Σημαντικά πεδία: o Repository o Author o Committer o Files 18
Engineer Activity Features • Υποβολή ερωτημάτων στην Elasticsearch • Επεξεργασία των αποτελεσμάτων και κατασκευή ποσοτικών χαρακτηριστικών της δραστηριότητας των μηχανικών • Σχηματισμός συνόλων εκπαίδευσης για αλγορίθμους εξόρυξης δεδομένων 19
Engineer Activity Features o Σχηματίστηκαν 4 διαφορετικά σύνολα χαρακτηριστικών o Κάθε σύνολο χαρακτηριστικών θα οδηγήσει σε ένα μοντέλο κατηγοριοποίησης των μηχανικών Συνολική συνεισφορά Συνεισφορά σε Dev θέματα Participated Issues Closed Issues / Day Comments Made Average Issue TiP [days] Opened Issues Defects Added / Commit Closed Issues Defects Removed / Commit Commits Authored Συνεισφορά σε Ops θέματα Συνεισφορά σε DevOps θέματα Average Comments / Issue Average Issue TiP [days] Average Comment Length Defects Added / Commit Average Response Time [hours] Defects Removed / Commit Response Ratio Average Comments / Issue Average Comment Length 20
Vanilla No 1 day devs No firework devs No irregulars Επιλογή κατάλληλων μοντέλων Αυτοματοποιημένη προ-επεξεργασία:  Απόρριψη παρατηρήσεων με ελλιπείς τιμές  Απόρριψη μηχανικών με σύντομη περίοδο συνεισφοράς  Απομάκρυνση ιδιαίτερων παρατηρήσεων  Κανονικοποίηση χαρακτηριστικών Στόχος: Βέλτιστος διαχωρισμός ομάδων Αλγόριθμοι ομαδοποίησης:  K-Means  Agglomerative Hierarchical  Affinity Propagation Χωρίζει σε ομάδες ίσης διασποράς, ελαχιστοποιώντας το κριτήριο Εμφωλευμένες ομάδες με bottom-up προσέγγισηΕπιλογή προτύπων σημείων με τη μετάδοση μηνυμάτων 21 Μετρικές αξιολόγησης:  Cohesion  Separation  Average Silhouette
Σύνολο πειραμάτων Dataset Algorithm vanilla no 1 day devs no firework devs no irregulars K-Means     Affinity Propagation     Agglomerative     23 Algorithm Parameters K-Means n_clusters = (2,3,4,5,6,7,8,9,10,11,12,13,14), maximum_iterations=300, initializations=300, initialization_method=’random’, algorithm=’full’ Affinity Propagation damping = (0.5, 0.55, 0.60, 0.65, 0.70, 0.75, 0.80, 0.85, 0.90, 0.95) preferences = (-10,-5,-4,-3,-2,-1,0,1,2,3,4,5), maximum_iterations=2000 convergence_iterations=200 Agglomerative n_clusters = (2,3,4,5,6,7,8,9,10,11,12,13,14) affinity = (‘euclidean’, ‘manhattan’), linkage = (‘complete’, ‘average’)
Πείραμα Αναγνώρισης Ρόλων 24
Πείραμα Αναγνώρισης Ρόλων - καλύτερα μοντέλα 25 K-Means, no irregulars, n_clusters = 5 Agglomerative no irregulars, euclidean, average, n_clusters = 7
Βελτίωση μοντέλου αναγνώρισης ρόλων 26 Agglomerative Ειδικό μοντέλο euclidean, average, n_clusters = 7 Τελικό μοντέλο
Ερμηνεία αποτελεσμάτων Feature Cluster Issues Participated Comments Made Issues Opened Issues Closed Commits Authored Hypothesis #1 Low Low Low Low High Pure Dev #2 Low Low Low Low Low Undecided #3 Low Low Low Low Mid Pure Dev #4 High High Mid Mid Low Pure Ops / QA #5 High High High High High DevOps #6 High High High High High DevOps #7 High High High High Low Project Owner 27
Ερμηνεία αποτελεσμάτων Feature Cluster Issues Participated Comments Made Issues Opened Issues Closed Commits Authored Hypothesis #1 High High High High Mid DevOps #2 High Mid High High Low Project Owner #3 High Mid Low High Mid DevOps #4 High High Mid High High DevOps #5 High High Mid High Low Project Owner #6 Low Low Low Low High Pure Dev #7 Low-Mid Low-Mid Low-Mid Low Low-Mid Unknown 28
Πείραμα αξιολόγησης Dev συνεισφοράς 29 Feature Cluster Closed Issues Per Day Average Issue TiP Defects Added Per Commit Defects Removed Per Commit Hypothesis #1 Low Mid High High Productive, Responsive, Elegant #2 Mid Mid Mid Mid Productive, Responsive, Elegant #3 Low High Low Low Productive, Responsive, Elegant #4 High Low Low Low Productive, Responsive, Elegant Agglomerative, no irregulars, euclidean, average
Πείραμα αξιολόγησης Ops συνεισφοράς 30 Feature Cluster Average Comments Per Issue Average Comment Length Response Ratio Average Response Time Hypothesis #1 Mid High High Low Involved, Verbal, Responsive #2 Mid Low Mid High Involved, Verbal, Responsive #3 High Mid High Low Involved, Verbal, Responsive #4 Low High Low High Involved, Verbal, Responsive #5 Mid Mid Mid Mid Involved, Verbal, Responsive Agglomerative, no irregulars, euclidean, average, n_clusters = 5
Πείραμα αξιολόγησης DevOps συνεισφοράς 31 Agglomerative, no irregulars, euclidean, complete, n_clusters = 6
Πείραμα αξιολόγησης DevOps συνεισφοράς 32 Feature Cluster Average Issue TiP Defects Added Per Commit Defects Removed Per Commit Average Comments Per Issue Average Comment Length Hypothesis #1 Mid High High Low Mid Responsive, Elegant, Involved, Verbal #2 Low Low Low Low Low Responsive, Elegant, Involved, Verbal #3 High Low Mid Low Mid Responsive, Elegant, Involved, Verbal #4 Low Low Low Mid High Responsive, Elegant, Involved, Verbal #5 Low Mid Mid High Mid Responsive, Elegant, Involved, Verbal #6 Low Low Low High Low Responsive, Elegant, Involved, Verbal
Συμπεράσματα – Μελλοντική εργασία  Επιτυχής εντοπισμός διακριτών ρόλων  Εντοπισμός ομάδων που επιδεικνύουν τεχνικές και επικοινωνιακές δεξιότητες  Υλοποίηση δομής διατήρησης των δεδομένων  Επεκτάσιμη υλοποίηση o Επέκταση του συνόλου των repositories o Κατασκευή διαφορετικών χαρακτηριστικών αξιολόγησης o Εφαρμογή πιο εξειδικευμένων μεθόδων για την κατασκευή χαρακτηριστικών 34
Ευχαριστίες Θα ήθελα να ευχαριστήσω θερμά τον επιβλέποντα της διπλωματικής μου εργασίας, κ. Ανδρέα Συμεωνίδη, για την ευκαιρία που μου δόθηκε να αναπτύξω ένα τόσο ενδιαφέρον και πολύπλευρο θέμα, την εμπιστοσύνη που μου έδειξε, καθώς και τη βοήθεια που πρόσφερε απλόχερα. 35
Ευχαριστώ για την προσοχή σας! 36
Issues 37
Pulls 38
Contributor 39
Sample Patch 40
Sample Document 41
Πείραμα αξιολόγησης Dev συνεισφοράς 42
Πείραμα αξιολόγησης Ops συνεισφοράς 43
Πείραμα αξιολόγησης DevOps συνεισφοράς 44
Παράδειγμα «κακού» μοντέλου 45 Agglomerative, no irregulars, manhattan, average, n_clusters=8
Affinity Propagation 46
Affinity Propagation 47

Ιωάννη Α. Ζαφειρίου

Check these out next

Ιωάννη Α. Ζαφειρίου

Recomendados

Más contenido relacionado

Similar a Ιωάννη Α. Ζαφειρίου(20)

Más de ISSEL(20)

Último(20)

Ιωάννη Α. Ζαφειρίου