1. Esprit-Intelligence Artificielle 02/11/2012 1

2. Plan
Introduction
Quelques Eléments de la neurobiologie
Les Modules mathématiques
Architecture du réseau
Apprentissage
Mise en place
Conclusion
Esprit-Intelligence Artificielle 02/11/2012 2

3. Introduction
Esprit-Intelligence Artificielle 02/11/2012 3

4. Approche
basée sur la
connaissance
Inspiration de
Approche traitement de
algorithmique l’information
par le cerveau
La
construction
de logiciels
Les RNA sont des réseaux
fortement connectés de
processeurs élémentaires
fonctionnant en parallèle.
Chaque processeur calcule
une sortie unique sur la
base des informations qu'il
reçoit
Esprit-Intelligence Artificielle 02/11/2012 4

5. • C’est une approche qui a été privilégiée par
l'Intelligence Artificielle.
• Les réseaux de neurones sont fortement inspirés par
le système nerveux biologique
• On peut entraîner un réseau de neurone pour une
tâche spécifique (reconnaissance de caractères
par exemple) en ajustant les valeurs des
connections (ou poids) entre les éléments neurone).
Esprit-Intelligence Artificielle 02/11/2012 5

6. Quelques repères
• 1943: J. McCulloch & W. Pitts
proposent un modèle simple de neurone capable de produire une machine
de Turing.
• 1948: D. Hebb
propose une règle d'apprentissage pour des réseaux de neurones .
• 1958: F. Rosenblatt
propose le modèle du Perceptron et démontre son théorème de
convergence.
• 1969: M. Minsky & S. Papert
démontrent les limitations du modèle du Perceptron.
• 1985: apprentissage par rétro-propagation pour les réseaux multi-couches.
Esprit-Intelligence Artificielle 02/11/2012 6

7. Intérêt
Ils
La limitation
s’inscrivent
des
dans les
ordinateurs
mutations La structure des
existants .
tech. réseaux de neurones
Les RNA sont étant elle-même
efficaces pour parallèle, leur
effectuer à grande fonctionnement
vitesse des calculs présente de nombreux
et, d’une manière avantages :
générale des tâches
une vitesse de calcul
mécaniques accrue, la résistance
aux pannes locales, et
enfin la régularité de
la structure
Esprit-Intelligence Artificielle 02/11/2012 7

8. Quelques Eléments de la neurobiologie
Esprit-Intelligence Artificielle 02/11/2012 8

9. Cellules nerveuses
Esprit-Intelligence Artificielle 02/11/2012 9

10. Description schématique des éléments d’une
synapse
Esprit-Intelligence Artificielle 02/11/2012 10

11. Apprentissage
• Il est caractérisé par : Un système initial aux
mécanismes de fonctionnement et au potentiel
d’évolution fixés.
 l’évolution des connexions du réseau .
 l’interaction entre le monde extérieur et le réseau .
 un mécanisme sélectif .
L’apprentissage peut être définit comme l’acquisition de propriétés
associatives stables, et la mémorisation comme l’engrangement et le rappel
de ces propriétés ou modifications.
Esprit-Intelligence Artificielle 02/11/2012 11

12. Les Modules mathématiques
Esprit-Intelligence Artificielle 02/11/2012 12

13. Structure d’un neurone
artificiel
Mise en correspondance neurone biologique / neurone artificiel
Esprit-Intelligence Artificielle 02/11/2012 13

14. Fonctionnement interne
d’un neurone
• Un neurone reçoit les signaux d'entrée x1, ..., xn .
• Ces signaux sont pondérés par des poids w1, ..., wn
.
• L'activation du neurone
a=∑ wi.xi
est transmise à une fonction
de transition f (non linéaire)
paramétrée par un seuil w0
• Le signal de sortie y = f (a-w0)
est propagé aux cellules
suivantes
Esprit-Intelligence Artificielle 02/11/2012 14

15. Les fonctions de transfert
Esprit-Intelligence Artificielle 02/11/2012 15

16. Réseaux de neurones
naturels vs. artificiels
réseau naturel réseau artificiel
fonctionnement du réactions chimiques fonctions
neurone mathématiques
temps de réaction relativement lent très rapide
nombre de neurones environ 10¹º entre 10⁴ et 10⁵
nombre de connexions environ 10¹³ jusqu'à 10⁷
Esprit-Intelligence Artificielle 02/11/2012 16

17. ARCHITECTURE DE RESEAU
Esprit-Intelligence Artificielle 02/11/2012 17

18. Les réseaux "Feed-
forward"
• Ce sont des réseaux dans les quels l'information se
propage de couche en couche sans retour en
arrière possible.
• On distingue alors :
o Perceptron monocouche
o Perceptron multicouche(PMC)
Le perceptron est un modèle de réseau de neurones avec algorithme
d'apprentissage
Esprit-Intelligence Artificielle 02/11/2012 18

19. Perceptron monocouche
La sortie S est calculée par la formule :
S = 1si ∑ wi xi > s
0 si non
Esprit-Intelligence Artificielle 02/11/2012 19

20. Perceptron
multicouche(PMC)
Les neurones sont arrangés par couche. Il n'y a pas de connexion entre
neurones d'une même couche et les connexions ne se font qu'avec les
neurones des couches avales
Esprit-Intelligence Artificielle 02/11/2012 20

21. • On trouve aussi d’autre réseaux qui possèdent la
même architecture que le PMC mais avec
quelques particularités :
par exemple :
 PMC a connexion locale
Esprit-Intelligence Artificielle 02/11/2012 21

22. Les réseaux à fonction
radiale
Appelé aussi RBF(en anglais : "Radial Basic Functions").
Particularité :
les fonctions de base utilisées ici sont des fonctions
Gaussiennes.
Utilité :
Les RBF seront donc employés dans les mêmes types
de problèmes que les PMC à savoir, en classification
et en approximation de fonctions, particulièrement.
Esprit-Intelligence Artificielle 02/11/2012 22

23. Les réseaux ‘Feed back’
• Ce sont des réseaux dans les quels l'information se
propage de couche en couche avec retour en
arrière possible.
Réseau à connexions complètes Réseau à connexions
récurrentes
Esprit-Intelligence Artificielle 02/11/2012 23

24. • Les cartes auto organisatrices de kohonen
Ce modèle de carte auto-organisatrice appartient à la classe des réseaux à
compétition.
• Les réseaux de Hopfield
Un réseau de Hopfield réalise une mémoire adressable par son contenu.
• Les ART
ART (Adaptive Resonance Theory) est un modèle de réseau de neurones à
architecture évolutive développé en 1987 par Carpenter et Grossberg.
Esprit-Intelligence Artificielle 02/11/2012 24

25. APPRENTISSAGE
Esprit-Intelligence Artificielle 02/11/2012 25

26. Types d’apprentissage
Il existe plusieurs types d’apprentissage, les plus
utilisées sont :
• Mode supervisé : les exemples sont des couples
(entrée, sortie associée).
• Mode non supervisé: on dispose que des valeurs
(entrée).
• Apprentissage par renforcement.
Pour ces trois types d'apprentissage, il y a également un choix traditionnel
entre :
o L’apprentissage << off-line >>
o L’apprentissage << on-line >>
Esprit-Intelligence Artificielle 02/11/2012 26

27. • Il existe d’autre types d’apprentissage comme :
• Sur-apprentissage ("apprentissage par-coeur") .
• Le mode hybride .
• Apprentissage "local" .
• Apprentissage "global" .
• Validation croisée ("Cross Validation") .
Esprit-Intelligence Artificielle 02/11/2012 27

28. Règles d’apprentissage
Par correction
Règle de Hebb
d’erreur
Par Apprentissage
compétition de Boltzmann
4 règles
principales
Esprit-Intelligence Artificielle 02/11/2012 28

29. Autres règles
• Apprentissage par descente de gradient :
il s'agit de calculer une erreur et d'essayer de minimiser cette erreur.
• Apprentissage par la règle de Widrow-Hoff (ou
Adaline) :
au lieu de calculer les variations des poids en sommant sur tous les exemples
de S, l'idée est de modifier les poids à chaque présentation d'exemple.
Esprit-Intelligence Artificielle 02/11/2012 29

30. Algorithme d’apprentissage
du perceptron
• Initialisation des poids et du seuil à de petites
valeurs aléatoires
• Présenter un vecteur d’entrées x(μ) et calculer sa
sortie
• Mettre à jour les poids en utilisant :
wj(t+1) = wj(t) + η (d- y) xj
avec d la sortie désirée, w vecteur des poids η est une constante positive ,qui
spécifie le pas de modification des poids
Esprit-Intelligence Artificielle 02/11/2012 30

31. Apprentissage par
correction d'erreur
• Initialiser la matrice des poids au hasard
• Choisir un exemple en entrée
• Propager le calcul de cette entrée à travers le réseau
• Calculer la sortie de cette entrée
• Mesurer l'erreur de prédiction par différence entre sortie
réelle et sortie prévue
• Calculer la contribution d'un neurone à l'erreur à partir
de la sortie
• Déterminer le signe de modification du poids
• Corriger les poids des neurones pour diminuer l'erreur
 Le processus recommence ainsi, à partir du choix de
l'exemple en entrée, jusqu'à ce qu'un taux d'erreur
minimal soit atteint.
Esprit-Intelligence Artificielle 02/11/2012 31

32. MISE EN PLACE
Esprit-Intelligence Artificielle 02/11/2012 32

33. Préparation des Détermination Phase
données des paramètres d'apprentissage
Détermination
Optimisation du
des entrées et
jeu de données
des sorties
Constitution de
Codage des
la base
entrées
d'exemples
Esprit-Intelligence Artificielle 02/11/2012 33

34. Les points Les points
forts faibles
Codage des
Souplesse
entrées
Bonne
Lisibilité
résolution
Traitement
Non
des variables
optimalité
continues
Outils
Performance
disponibles
Esprit-Intelligence Artificielle 02/11/2012 34

35. Domaines d’application
• Aérospatial : pilotage automatique, simulation du vol…
• Automobile : système de guidage automatique,…
• Défense : guidage de missile, suivi de cible,
reconnaissance du visage, radar, sonar, lidar, traitement
du signal, compression de données, suppression du bruit…
• Electronique : prédiction de la séquence d’un code,
vision machine, synthétiseur vocal, modèle non linéaire,…
• Finance : Prévision du coût de la vie
• Secteur médical : Analyse EEC et ECG
• Télécommunications : Compression de données …
Esprit-Intelligence Artificielle 02/11/2012 35

36. Exemple d’application
Reconnaissance des formes
IL y a plusieurs techniques pour la reconnaissance de
forme ou bien d’ordre Général la classification, on
cite trois méthodes avec un exemple pour bien
comprendre ces techniques :
 La méthode classique :
La première, la plus classique, consiste simplement à mesurer la distance
euclidienne entre l’image de test et toutes les images présentes dans la base
d’apprentissage afin d’en déterminer la plus faible.
Esprit-Intelligence Artificielle 02/11/2012 36

37. Programmation Temps de calcul
extrêmement très lent
rapide et un
temps d’accès
aux informations
utiles immédiat
Esprit-Intelligence Artificielle 02/11/2012 37

38. Méthodes modernes ou
par réseau de neurones
• La seconde repose sur un réseau de neurone
discriminant. La méthode du réseau discriminant
repose sur l’utilisation d’un unique réseau de
neurones donnant en sortie la classe
d’appartenance d’une image inconnue en
entrée.
• Il est composé d’une couche d’entrée, d’une
couche cachée et de plusieurs sorties pour
autant de personnes à discriminer.
Esprit-Intelligence Artificielle 02/11/2012 38

39. Esprit-Intelligence Artificielle 02/11/2012 39

40. Le temps de calcul Cette méthode
nécessaire à nécessite un très
l’identification est long apprentissage
rapide par rapport qui dépend du
a l’autre méthode nombre de
neurones sur la
couche cachée
Esprit-Intelligence Artificielle 02/11/2012 40

41. Applications
Exemple: Restitution de paramètres nuageux à partir
d’image satellite
Esprit-Intelligence Artificielle 02/11/2012 41

42. Conclusion
Esprit-Intelligence Artificielle 02/11/2012 42

43. Conclusion
• les réseaux de neurones reposent à Présent sur des
bases mathématiques solides qui permettent
d’envisager des applications dans presque tout les
domaines y compris industriel et à grande
échelle, notamment dans le domaine de la
classification.
Esprit-Intelligence Artificielle 02/11/2012 43

44. Perspectives
Les réseaux de neurones ont une histoire relativement
jeune (environ 50 ans) et les applications intéressantes
des réseaux de neurones n’ont vu le jour que depuis
une vingtaine d’année (développement de
l’informatique), et ils ont un futur très prometteur, on
entend parler (par exemple) du WEB sémantique,
RFID, … etc.
Esprit-Intelligence Artificielle 02/11/2012 44

45. Esprit-Intelligence Artificielle 02/11/2012 45