ΠΕΡΙΕΧΟΜΕΝΑ ΜΑΘΗΜΑΤΟΣ
1) Εισαγωγή
1.1) Η δομή του ανθρώπινου εγκεφάλου
1.2) Η λειτουργία ενός νευρώνα
1.2.1) Συναρτήσεις Ενεργοποίησης
1.2.2) Σκοπός του Νευρώνα
1.2.3) Perceptron
2) Νευρώνες και Λογικές Πύλες
2.1) Το πρόβλημα του OR
2.2) Το πρόβλημα του AND
2.3) Προβλήματα Λογικών Πυλών
3) Γραμμική Διαχωρισιμότητα
3.1) Ορισμοί
3.2) Παραδείγματα
Β) Μεθοδολογία
1) Γραφική Επίλυση
2) Επίλυση με Ανισώσεις
Γ) Ασκήσεις
1) Ασκήσεις Κατανόησης
2) Εφαρμογές
2. ΠΕΡΙΕΧΟΜΕΝΑ
A.Θεωρία
1. Εισαγωγή
1. Η δοµή του ανθρώπινου εγκέφαλου
2. Η λειτουργία ενός νευρώνα
1. Συναρτήσεις Ενεργοποίησης
2. Σκοπός του Νευρώνα
3. Perceptron
2. Νευρώνες και Λογικές Πύλες
1. Το πρόβληµα του OR
2. Το πρόβληµα του AND
3. Προβλήµατα Λογικών Πυλών
3. Γραµµική ∆ιαχωρισιµότητα
1. Ορισµοί
2. Παραδείγµατα
Β.Μεθοδολογία
1. Γραφική Επίλυση
2. Επίλυση µε Ανισώσεις
Β.Ασκήσεις
1. Ασκήσεις Κατανόησης
2. Εφαρµογές
2∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
3. A. Θεωρία
1. Εισαγωγή
1. Η δοµή του ανθρώπινου εγκεφάλου
3∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Το στοιχειώδες υπολογιστικό εργαλείο του εγκεφάλου είναι το νευρωνικό κύτταρο (ή
νευρώνας):
• ∆έχεται εισόδους (από άλλους νευρώνες) µέσω των δενδριτών.
• Εκτελείται µια ενέργεια στην σύναψη που παράγει την τελική είσοδο που θα
φτάσει στον πυρήνα του νευρώνα.
• Ο πυρήνας του νευρώνα µαζεύει όλα τα σήµατα από τις συνάψεις και παράγει την
έξοδο του νευρώνα.
• Η έξοδος αυτή µεταφέρεται µέσω του άξονα και σπάει σε δενδρίτες που είναι
είσοδοι σε επόµενους νευρώνες.
Ο εγκέφαλος έχει περίπου 1010 νευρώνες και οι συνάψεις κάθε νευρώνα είναι
αρκετές δεκάδες χιλιάδες!
4. A. Θεωρία
1. Εισαγωγή
2. Η λειτουργία ενός νευρώνα
4∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Ένα δίκτυο ενός υπολογιστικού
νευρώνα ακολουθεί την παρακάτω
δοµή:
x1
x2
⋮
xn
w1
w2
wn
Υπολογισµός δυναµικού
ενεργοποίησης v:
⋯
Υπολογισµός εξόδου από
την συνάρτηση
ενεργοποίησης (ή
µεταφορας):
⋯
y
x3
w3
Είσοδοι
του
νευρώνα
Βάρη των
συνάψεων
(συνήθως
από -1 εώς 1)
Τα σήµατα αθροίζονται
πολλαπλασιασµένα µε τα
βάρη τους
Η τελική έξοδος
υπολογίζεται από µια
συνάρτηση του δυναµικού
ενεργοποίησης
Ο νευρώνας παράγει
πάντα µία µοναδική
έξοδο!
x0
w0
H x0 είναι µια ειδική είσοδος που µπορεί να
πάρει µόνο 3 τιµές:
• x0=0 οπότε αγνοείται
• x0= -1, τότε w0=θ (θ καλείται κατώφλι)
• x0=1, τότε w0=b (b καλείται πόλωση)
5. A. Θεωρία
1. Εισαγωγή
2. Η λειτουργία ενός νευρώνα (Συναρτήσεις ενεργοποίησης).
5∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Η παραγόµενη έξοδος εξαρτάται από την συνάρτηση ενεργοποίησης (ή µεταφοράς):
• Γενικά µπορεί να υπάρχει οποιαδήποτε συνάρτηση παραγωγής της εξόδου
Οι πιο συχνές συναρτήσεις είναι
• Βηµατική Συνάρτηση ειδικά αν χρησιµοποιείται η είσοδος κατωφλίου σηµαίνει:
1,
0,
0
0
1,
0,
∑
∑
Σε κάποιες ασκήσεις το δυναµικό ορίζεται ως :
• ∑ οπότε η συνάρτηση ενεργοποίησης γράφεται:
•
1,
0,
∑
∑
άρα γραφικά:
1
v
f(v)
1
u
f(u)
θ
0
0
6. A. Θεωρία
1. Εισαγωγή
2. Η λειτουργία ενός νευρώνα (Συναρτήσεις ενεργοποίησης).
6∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Άλλες συναρτήσεις είναι:
• Συνάρτηση Προσήµου
sign
1,
1,
0
0
• Τµηµατικά Γραµµική Συνάρτηση
• Σιγµοειδής Συνάρτηση
1,
,
0,
0.5
0.5 0.5
0.5
1
1/2
1/2
-1/2
1
=
!"#∙%
v
φ(v)
-1
7. A. Θεωρία
1. Εισαγωγή
2. Η λειτουργία ενός νευρώνα (Το µοντέλο McCullough-Pitts).
7∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Το µοντέλο McCullough-Pitts είναι το συνηθέστερο που χρησιµοποιείται σε έναν
νευρώνα. Χρησιµοποιεί την βηµατική συνάρτηση ενεργοποίησης και στάνταρ είσοδο
κατωφλίου.
Ο παραπάνω νευρώνας καλείται και Perceptron.
x1
x2
⋮
xn
w1
w2
wn
Δυναμικό:
⋯
Ενεργοποίηση:
1,
0,
0
0
y
x3
w3
-1
θ
8. A. Θεωρία
1. Εισαγωγή
2. Η λειτουργία ενός Νευρώνα (Σκοπός)
8∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Ένα δίκτυο ενός νευρώνα µε συνάρτηση ενεργοποίησης τη βηµατική συνάρτηση
ονοµάζεται Perceptron (ή απλός αισθητήρας)
Ο σκοπός ενός νευρώνα είναι:
• Ανάλογα µε την είσοδο που δέχεται ως µία διατεταγµένη n-άδα x1, x2, …, xn
Να την ταξινοµήσει
• σε µία από δύο κλάσεις: Κ1 και K2
• Συνήθως η µία κλάση δίνει την απάντηση «ΝΑΙ»
• Και η άλλη κλάση δίνει την απάντηση «ΌΧΙ»
Μαθηµατικά ο κανόνας απόφασης για την ταξινόµηση είναι:
• να αναθέτει το σηµείο που αναπαριστούν τα x1, x2, …, xn στην κλάση K1, εάν η
έξοδος y του Perceptron είναι +1
• και στην κλάση K2 εάν η έξοδος y του Perceptron είναι 0.
9. Το πρόβληµά µας: Να κατασκευάσουµε το πιο απλό ΤΝ∆ στη λογική συνάρτηση OR
Απαιτούνται δύο είσοδοι (Χ1 και X2) και και θέλουµε η έξοδος να µοντελοποιεί σωστά τον
πίνακα αλήθειας του OR.
Απαιτείται να εντοπιστούν κατάλληλες τιµές στα βάρη των συνάψεων έτσι ώστε να
υπολογίζεται o πίνακας αλήθειας του OR.
A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
1. Το πρόβληµα του OR (1.∆ιατύπωση)
9∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
X1 X2 Y
0 0 0
0 1 1
1 0 1
1 1 1
8
1
8
10. Ένας συνδυασµός βαρών που θα δουλέψει είναι ο ακόλουθος: w1=1.1, w2=1.1, w0=1
Επαληθεύουµε την ορθή λειτουργία του νευρώνα:
A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
1. Το πρόβληµα του OR (2.Νευρωνικό ∆ίκτυο)
10∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
8
w1=1.1
w2= 1.1
φ
1,
0,
0
0
y
s=-1
w0=θ=1
8 ∆υναµικό Συν.∆υναµικού
0 0 8 8 0 ∙ 1.1 0 ∙ 1.1 1 1 1 0 0
0 1 8 8 0 ∙ 1.1 1 ∙ 1.1 1 0,1 0.1 1 1
1 0 8 8 1 ∙ 1.1 0 ∙ 1.1 1 0,1 0.1 1 1
1 1 8 8 1 ∙ 1.1 1 ∙ 1.1 1 1,2 1.2 1 1
11. A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
1. Το πρόβληµα του OR (3.Εξίσωση Ευθείας)
11∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
(0,1)
x(0,0) (1,0)
y
Ευθεία Απόφασης: 1.1y + 1.1x – 1=0
(0,0.91)
Θετικά Πρότυπα
Αρνητικά Πρότυπα
∆υναµικό Ενεργοποίησης: 1.1Χ1+1.1Χ2-1
(1,1)
(0.91,0)
12. A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
1. Το πρόβληµα του OR (4. Και άλλα Perceptrons που λύνουν το πρόβληµα)
12∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
(0,1)
x
(1,0)
y
Η ευθεία περνάει από τα σηµεία: (0.5,0) και (0,0.5). Άρα προκύπτει η ευθεία απόφασης:
:; .<
.<;
=;
; .<
⇒
:; .<
.<
=
; .<
⇒ 0.5 ⇒ 0.5 ⇒ 0.5 ⇒ 0.5 0
Συνεπώς σε σχέση µε την συνάρτηση ενεργοποίησης κατωφλίου: w1X+w2Y-θ=0 προκύπτει
άµεσα το νευρωνικό δίκτυο µε βάρη: w1=1, w2=1, θ=0.5
(0.5,0)(0,0)
Υπάρχουν πολλές ευθείες που µπορούν να διαχωρίσουν τα δεδοµένα στις δύο κλάσεις K1 και K2
Πρακτικά πρέπει να διαχωρίζονται τα θετικά από τα αρνητικά πρότυπα από την ευθεία. Σχεδιάζουµε την συνάρτηση και
υπολογίζουµε δύο σηµεία της (x1,y1) και (x2,y2). Η εξίσωση ευθείας υπολογίζεται από τον τύπο:
8 8
(1,1)
(0,0.5)
(0,1)
x
(1,0)
y
Η ευθεία περνάει από τα σηµεία: (0.1,0) και (0,0.8). Άρα προκύπτει η ευθεία απόφασης:
:; .
. ;
=;
; .?
⇒
:; .
.
=
; .?
⇒ 0.8 0.08 0.1 ⇒ 0.8 0.1 0.08 0
Συνεπώς σε σχέση µε την συνάρτηση ενεργοποίησης κατωφλίου: w1X+w2Y-θ=0 προκύπτει
άµεσα το νευρωνικό δίκτυο µε βάρη: w1=0.8, w2=0.1, θ=0.08(0.1,0)
(0,0)
(1,1)
(0,0.8)
13. Το πρόβληµά µας: Να κατασκευάσουµε το πιο απλό ΤΝ∆ στη λογική συνάρτηση AND
Απαιτούνται δύο είσοδοι (Χ1 και X2) και και θέλουµε η έξοδος να µοντελοποιεί σωστά τον
πίνακα αλήθειας του AND.
Απαιτείται να εντοπιστούν κατάλληλες τιµές στα βάρη των συνάψεων έτσι ώστε να
υπολογίζεται o πινακας αλήθειας του AND
A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
2. Το πρόβληµα του AND (1.∆ιατύπωση)
13∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
X1 X2 Y
0 0 0
0 1 0
1 0 0
1 1 1
8
1
8
14. Ένας συνδυασµός βαρών που θα δουλέψει είναι ο ακόλουθος: w1=0.6, w2=0.6, w0=1
Επαληθεύουµε την ορθή λειτουργία του νευρώνα:
A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
2. Το πρόβληµα του AND (2.Νευρωνικό ∆ίκτυο)
14∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
8
w1=0.6
w2= 0.6
φ
1,
0,
0
0
y
s=-1
w0=θ=1
8 ∆υναµικό Συν.∆υναµικού
0 0 8 8 0 ∙ 0.6 0 ∙ 0.6 1 1 1 0 0
0 1 8 8 0 ∙ 0.6 1 ∙ 0.6 1 0.4 0.4 0 0
1 0 8 8 1 ∙ 0.6 0 ∙ 0.6 1 0.4 0.4 0 0
1 1 8 8 1 ∙ 0.6 1 ∙ 0.6 1 0.2 0.2 1 1
15. A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
2. Το πρόβληµα του AND (3.Εξίσωση Ευθείας)
15∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
(0,1)
X1(1,0)
X2
∆υναµικό Ενεργοποίησης: 0.6Χ1+0.6Χ2-1
(0,1.66)
Θετικά Πρότυπα
Αρνητικά Πρότυπα
Εξισωση Ευθείας: 0.6Χ1+0.6Χ2=1
(0,0)
(1,1)
(1.66,0)
16. A. Θεωρία
2. Νευρώνες και Λογικές Πύλες
3. Προβλήµατα Λογικών Πυλών
16∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Παρακάτω βλέπουµε τις 16 λογικές πύλες δύο εισόδων που υπάρχουν.
Μπορούµε να παρατηρήσουµε γραφικά ότι οι µόνες δύο λογικές πύλες που δεν µπορούν
να διαχωριστούν από µία ευθεία είναι η XOR και η XNOR
X1 C2 NONE ΑΝD C ∧ ~C8 C C8 ∧ ~C C8 XOR OR NOR XNOR ~C8 C8 ⟶ C ~C C ⟶ C8 NAND ANY
0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1
0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1
1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1
1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1
(0,1)
(1,0)
(0,0)
(1,1)
ΠΥΛΗ C ∧ ~C8
(1,0)
(1,0)
(0,0)
(1,1)
ΠΥΛΗ ~C8
(0,1)
(1,0)
(0,0)
(1,1)
ΠΥΛΗ CGH
??
(0,1)
(1,0)
(0,0)
(1,1)
ΠΥΛΗ CIGH
??
17. A. Θεωρία
3. Γραµµική ∆ιαχωρισιµότητα
1. Ορισµοί
17∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
ΟΡΙΣΜΟΣ: Έστω µία συνάρτηση εισόδου-εξόδου ενός νευρώνα. Αν η συνάρτηση µπορεί
να αναπαρασταθεί µε ένα δίκτυο ενός µόνο νευρώνα λέγεται γραµµικά διαχωρίσιµη.
• Για παράδειγµα οι συναρτήσεις που αντιστοιχούν στις πύλες AND και OR καλούνται
γραµµικά διαχωρίσιµες.
• Πρακτικά, αν τα θετικά από τα αρνητικά δεδοµένα µπορούν να διαχωριστούν από µόνο
µία ευθεία τότε η συνάρτηση καλείται γραµµικά διαχωρίσιµη.
• Συναρτήσεις που είναι γραµµικά διαχωρίσιµες θα υλοποιούνται από ένα δίκτυο ενός
νευρώνα.
ΟΡΙΣΜΟΣ: Μία συνάρτηση εισόδου-εξόδου που δεν µπορεί να αναπαρασταθεί από µόνο
ένα νευρώνα θα καλείται µη γραµµικά διαχωρίσιµη.
• Για παράδειγµα οι συναρτήσεις των XOR, XNOR είναι µη γραµµικά διαχωρίσιµες.
• Για την υλοποίηση τους από Νευρωνικό ∆ίκτυο θα απαιτηθεί να έχουµε περισσότερους
νευρώνες σε συγκεκριµένη συνδεσµολογία (Μάθηµα 3.2)
18. A. Θεωρία
3. Γραµµική ∆ιαχωρισιµότητα
2. Παραδείγµατα
18∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Παραδείγµατα γραµµικά διαχωρίσιµων συναρτήσεων:
Παραδείγµατα µη γραµµικά διαχωρίσιµων συναρτήσεων:
19. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
1. Γραφική Επίλυση
19∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Εκφώνηση: Κατασκευάστε έναν νευρώνα που διαχωρίζει δεδοµένα σε δύο κλάσεις. Τα
δεδοµένα δίδονται ως σηµεία (ή µε πίνακα). Ζητείται να επιλυθεί γραφικά
Βήµα 1: Κατασκευάζουµε τον αληθοπίνακα σε σύστηµα αξόνων (οριζόντιος άξονας το
x1 και κάθετος άξονας το x2) τα σηµεία κάνοντας µαύρα τα σηµεία που είναι 1 και λευκα
τα σηµεία που είναι 0.
Παράδειγµα: Κατασκευάστε έναν αισθητήρα δύο εισόδων που ακολουθεί το µοντέλο McCullough-
Pitts που αποφασίζει την λογική συνάρτηση:C8 ∧ ~C . Η επίλυση να γίνει µε γραφική απεικόνιση της
εξίσωσης ευθείας του νευρώνα.
Επίλυση: έχουµε:
8 Έξοδος: C8 ∧ ~C
0 0 0
0 1 1
1 0 0
1 1 0
(0,1)
(1,0)
(0,0)
(1,1)
20. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
1. Γραφική Επίλυση
20∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Βήµα 2: Σχεδιάζουµε µια ευθεία που διαχωρίζει τα πρότυπα των δύο κλάσεων, έτσι
ώστε να περνάει από δύο συγκεκριµένα σηµεία των οποιών οι συντεταγµένες είναι
εύκολο να εντοπιστούν. Ειδικά για λογικές πύλες, οι συντεταγµένες των σηµείων θα
είναι πολλαπλάσια του 0.5
Επίλυση: έχουµε:
8 Έξοδος: C8∧ ~C
0 0 0
0 1 1
1 0 0
1 1 0
(0,1)
(1,0)
(0,0)
(1,1)
(0.5,1)
(0,0.5)
21. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
1. Γραφική Επίλυση
21∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Βήµα 3: Βρίσκουµε την ευθεία απόφασης ως εξής. Ονοµάζουµε τα δύο σηµεία (x1,y1)
και (x2,y2) και υπολογίζουµε την εξίσωση ευθείας από τον τύπο:
:;:J
:J;:K
=;=J
=J;=K
.
Έπειτα φέρουµε την εξίσωση ευθείας στη µορφή: α L M 0
Επίλυση: ∆ύο σηµεία από τα οποία διέρχεται η ευθεία είναι: , N0,0.5O και 8, 8 N0.5,1O
Άρα η ζητούµενη ευθεία είναι η:
:;:J
:J;:K
=;=J
=J;=K
⇒
:;
; .<
=; .<
.<;
⇒
:
; .<
=; .<
; .<
⇒
0.5 0.5 0.5 ⇒ 0.5 0.5 0.25 ⇒ N 0.5O 0.5 0.25 0
∆ύο ειδικές περιπτώσεις ευθειών:
P
Ευθεία: P
και γράφεται:
1 0 N PO 0
P Ευθεία: P
και γράφεται:
0 1 N PO 0
22. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
1. Γραφική Επίλυση
22∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Βήµα 4: Κάνουµε 1:1 συσχέτιση των σταθερών των εξισώσεων:
Εξίσωση Ευθείας: α L M 0
Εξίσωση Νευρώνα: 8 8 0
Και εντοπίζουµε τα βάρη του νευρώνα.
Επίλυση:
Εξίσωση Ευθείας: 0.5 0.5 0.25 0
Εξίσωση Νευρώνα: 8 8 0
Συνεπώς τα βάρη του νευρώνα είναι: 0.5, 8 0.5, 0.25
Άρα ο νευρώνας είναι:
8
1
0.5
0.5
0.25
23. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
1. Γραφική Επίλυση
23∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Σχόλιο: Μία ευθεία χωρίζει το επίπεδο σε δύο ηµιεπίπεδα. Όποιο σηµείο είναι στο ένα
ηµιεπίπεδο παράγει έξοδο 1 και όποιο είναι στο άλλο παίρνει την έξοδο 0. Προκειµένου
να έχουµε αντίστροφες εξόδους, αλλάζουµε τα πρόσηµα σε όλην την εξίσωση ευθείας.
8 Έξοδος:C8 ∧ ~C
0 0 0
0 1 1
1 0 0
1 1 0
(0,1)
(1,0)
(0,0)
(1,1)
(0.5,1)
(0,0.5)
8 Έξοδος: 8 ⟶
0 0 1
0 1 0
1 0 1
1 1 1
(0,1)
(1,0)
(0,0)
(1,1)
(0.5,1)
(0,0.5)
Εξίσωση Ευθείας: 0.5 0.5 0.25 0
Εξίσωση Νευρώνα: 8 8 0
Άρα 0.5, 8 0.5, 0.25
Εξίσωση Ευθείας: 0.5 0.5 0.25 0
Εξίσωση Νευρώνα: 8 8 0
Άρα 0.5, 8 0.5, 0.25
24. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
2. Επίλυση µε Ανισώσεις
24∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Εκφώνηση: Κατασκευάστε έναν νευρώνα που διαχωρίζει δεδοµένα σε δύο κλάσεις. Τα
δεδοµένα δίδονται ως σηµεία (ή µε πίνακα). Ζητείται να µην επιλυθεί γραφικά
Βήµα 1: Υπολογίζουµε το δυναµικό για κάθε συνδυασµό εισόδου. Επειδή η έξοδος
είναι προκαθορισµένη, µε βάση την βηµατική συνάρτηση προκύπτει ένα σύστηµα 4
ανισώσεων (για λογικές πύλες) µε αγνώστους w1,w2,θ
Παράδειγµα: Κατασκευάστε έναν αισθητήρα δύο εισόδων που ακολουθεί το µοντέλο McCullough-
Pitts που αποφασίζει την λογική συνάρτηση: C ∧ ~C8.
Επίλυση: Πρέπει να ισχύουν:
8 ∆υναµικό Έξοδος Ανίσωση
0 0 8 8 0 80 0 0
0 1 8 8 0 81 8 0 8 0
1 0 8 8 1 80 1 0
1 1 8 8 1 81 8 0 8 0
25. B. Μεθοδολογία
1. Κατασκευή Νευρώνα
2. Επίλυση µε Ανισώσεις
25∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
Βήµα 2: Επιλύουµε το σύστηµα ανισώσεων δοκιµάζοντας τιµές στις µεταβλητές. Αρκεί
να βρούµε έναν συνδυασµό τιµών που να συναληθεύουν οι ανισώσεις. Οι κατάλληλες
τιµές εµπειρικά συνήθως είναι µεταξύ του -1 και του 1.
Επίλυση: Πρέπει να ισχύουν:
0. Επιλέγω 0.5
8 0. Άρα έχω: 8 0.5 0 ⇒ 8 0.5. Επιλέγω 8 0.5
0. Άρα έχω: 0.5 0 ⇒ 0.5. Επιλέγω 0.8
8 0. Άρα έχω: 0.8 0.5 0.5 0 ⇒ 0.2 0 που ισχύει.
Συνεπώς ο αισθητήρας που αποφασίζει την λογική πύλη: C ∧ ~C8
8
1
0.5
0.8
0.5
26. B.Ασκήσεις
Άσκηση Κατανόησης 1
Θεωρείστε ένα Perceptron µε δύο νευρώνες εισόδου και ένα νευρώνα εξόδου.
Επιθυµούµε να εκπαιδεύσουµε το Perceptron αυτό έτσι ώστε να υλοποιεί τη λογική
συνάρτηση “ANY” η οποία ορίζεται ως εξής:
Κατασκευάστε ένα Perceptron δύο εισόδων που µοντελοποιεί το παραπάνω
πρόβληµα. Να γίνει γραφική επίλυση
26∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
x1 x2 έξοδος
0 0 1
0 1 1
1 0 1
1 1 1
27. B.Ασκήσεις
Άσκηση Κατανόησης 2
Θεωρείστε ένα Perceptron µε δύο νευρώνες εισόδου και ένα νευρώνα εξόδου.
Επιθυµούµε να εκπαιδεύσουµε το Perceptron αυτό έτσι ώστε να υλοποιεί τη λογική
συνάρτηση “NOR” η οποία ορίζεται ως εξής:
Na γίνει επίλυση µε σύστηµα ανισώσεων.
27∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
x1 x2 έξοδος
0 0 1
0 1 0
1 0 0
1 1 0
28. B.Ασκήσεις
Εφαρµογή 1
28∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή
∆ίνονται 4 σύνολα προτύπων που αντιστοιχούν σε 4 προβλήµατα ταξινόµησης.
Υπάρχουν 3 κλάσεις (µαύρες κουκίδες, γκρι κουκίδες και λευκές κουκίδες). Ποιο/α από
τα 4 προβλήµατα λύνει ο αισθητήρας που δίνεται στο παρακάτω σχήµα; ∆ικαιολογήστε
τις απαντήσεις σας;