In this presentation, we compare different machine learning methods, on two functions (SIN and a decrementing EXP).

1. Intelligence Artificielle - mai 2012
Comparaison de différentes
méthodes utilisant des réseaux
de neurones
Objet d’application : des fonctions bruitées
Kostiantyn KLEKOTA
Nicholas CHARRIERE

2. Présentation (1/2)
 Objectif : Comparer différentes méthodes de
prédiction de fonction
 Paramètres : Nous avons testé sur les 2 fonctions
suivantes :
X(t)=sin(4πt)+ε Y(t)=exp(-t/2)+ε
Où ε est un bruit distribué normalement avec une dispersion de 0.05
 100 points de données pour l’entraînement, et 100
pour la vérification (sauf pour ANFIS  400/400)

3. Présentation (2/2)
 Pour l’input, on utilise 5 points pour prévoir le 6ème:
[f(t-1), f(t-2), f(t-3), f(t-4), f(t-5)] → f(t)
 On a comparé les méthodes suivantes :
 Cascade forward backpropagation network
 Elman backpropagation network
 Feed forward backpropagation network
 Layered recurrent network
 ANFIS (Adaptive-Network-Based Fuzzy Inference System )
 On utilise la méthode du RMSE (root mean sqared error)
pour comparer

4. Paramètres de chaque méthode
Méthode Paramètres
Cascade forward BPN 3 couches de 5 neurones chacune + un neurone en output
Elman BPN 2 couches de 5 neurones chacune + un neurone en output
Feed forward BPN 1 couche de 5 neurones + un neurone en output
Layered recurrent network 1 couche de 10 neurones + 1 neurone en output
Généré automatiquement, avec :
Nombre de noeuds: 92
Nombre de paramètres linéaires: 192
Nombre de paramètres non linéaires: 30
Nombre total de paramètres: 222
ANFIS Nombre de paires de data d’apprentissage: 400
Nombre de paire de data de vérif.: 100
Nombre de loies floues: 32
Nombre max d’Epochs: 25

5. Cascade forward BPN
 Réseau avec une “auto-organisation”
 Pendant l’entraînement, des neurones
sont séléctionnés d’un lot de candidats
et ajoutés à la couche cachée
 Architecture en cascade
 L’algorithme d’apprentissage maximise
l’amplitude de la corrélation entre
l’output du nouveau neurone et l’erreur
résiduelle du réseau qu’on essaye de
minimiser

6. Elman BPN
 Réseau récurrent simple (RNN)
 A 3 couches : input, output, et une
couche cachée
 Ressemble au feedforward BPN, mais
possède une couche de “contexte”
 Elle est remplie, sans pondération, de
l’output de la couche cachée
 Puis le réseau Elman s’en rappelle et les
output sur la prochaine étape
 Enfin ces valeurs sont renvoyées, en
utilisant une connection qui utilise un
apprentissage pour pondérer, dans la
couche cachée

7. Feed forward BPN
 Différent des méthodes récurrentes ou semi-
récurrentes (cascade)
 Réseau artificiel dans lequel les connections ne
forment pas un cycle
 Premier et peut-être plus simple des réseaux,
l’information circule dans un seul sens

8. Layered recurrent network
 Dans celui-ci on a des cycles
 Permet d’exhiber un
comportement temporel
dynamique
 Leur mémoire leur permet de
gérer des séquences
aléatoires d’inputs
 Pratique pour des taches
comme de la reconnaissance
d’écriture
 En général on y utilise la
méthode du gradient descent.

9. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
 Réseau adaptatif basé sur le système d’interférence
floue de Takagi-Sugeno
 Une des premieres versions de réseaux de neurones
combinés à la logique floue
 Permet donc d’avoir les qualités de ces deux-dernières
dans un même framework
 Permet de bien approximer des fonctions non-linéaires

10. ANFIS
(Adaptive-Network-Based Fuzzy Inference System )
 La première couche prend les inputs (transcrit des variables verbales en
valeurs numériques grâce aux fonctions d’appartenance (membership
functions)
 La seconde couche multiplie les signaux et renvoie le produit
 La troisieme couche normalise avec les règles
 La quatrième sert à pondérer en appliquant de nouvelles règles
 La cinquième aggrège les résultats

11. Conclusion
Notre but était de comparer les performances
 Pour cela, on a utilisé le RMSE (root of mean squared
error)
 Les résultats montrent que les productivités sont très
proches
 Meilleure méthode pour SIN : Feedforward BPN
 Meilleure méthode pour EXP : ANFIS