Présentation lors du Search Day 2014, sur le projet de migration du moteur de recherche d'Exalead vers Apache Solr, au sein de l'IFCE.

1. Migration d’Exalead vers
Apache Solr à l’IFCE
CÉDRIC ULMER, PRÉSIDENT - FRANCE LABS
ALBAN FERIGNAC, CHEF DE PROJET - IFCE
SEARCH’DAY - NOVEMBRE 2014

2. Agenda
IFCE
• L’organisme
• L’outil de recherche sous Exalead
• Les raisons de la migration
• Les besoins techniques et fonctionnels
Apache Solr: Pourquoi et comment ?
• L’open source à la rescousse
• Mise en oeuvre du projet
• Informations techniques
• Statu quo de la migration
IFCE: les prochaines étapes
France Labs: Qui sommes-nous ?

3. IFCE
Institut Français du Cheval et de l'Equitation (IFCE)
Issue du regroupement Haras nationaux et cadre noir en 2010
~ 900 Employés
Missions ?
Nombreux sites

4. IFCE – La recherche avec Exalead
Rechercher dans divers modules de notre coeur de métier
 Chevaux
 Eleveur
 Démarches
 Site web
Besoin des éleveurs et du milieu de la compétition hippique
Mettre en valeur notre site de consultation des données “cheval”

5. IFCE – Les raisons de la migration
Manque de Maitrise
 Pas de communauté
 Besoin du support ou d'une prestation pour le moindre soucis
Coût
 75K€ pour 6M de documents
 15K€ annuel de support
Support
 Manque de réactivité sur des bugs bloquants
Politique
 Mise à jour majeur payante
 Demande du ministère de se tourner vers l'open source.

6. IFCE – Quelques chiffres
1.250.000 pages vues / mois
130.000 visiteurs uniques / mois
~ 3.000.000 chevaux
~ 1.200.000 personnes

7. IFCE – Besoins techniques et fonctionnels
Périmètre fonctionnel constant
Temps de réponse moyen par requête < 300 ms
Temps de mise à jour à l’ajout d’un cheval < 10 sec
Stabilité > 98%
Capacité de gérer 10 millions d’entrées
Temps pour l’indexation complète < 3h

8. IFCE – Les fonctions de recherche
Recherche multi-catégories (poulains, contacts, chevaux, formulaires…)
Recherche multi-types (pdf, base de données, html, doc…)
Faceting (profil, pays, races…)
Pagination / tri produits
Recherche full texte

10. Apache Solr – Moteur de recherche open source

11. Open Source: rappel
Liberté d’exécuter le programme, pour tous les usages
Liberté d’étudier le fonctionnement du programme et de l’adapter à ses besoins
Liberté de redistribuer des copies du programme
Liberté d’améliorer le programme et de distribuer ces améliorations

12. Apache Solr – Moteur de recherche open source
Créé en 2006
Géré par la fondation Apache
Surcouche de l’API Java Lucene, moteur ultrapopulaire
Moteur de recherche scalable horizontalement (clusterisation)
Compatible Big Data
Déjà de nombreux exemples de migrations vers Solr (notamment depuis FAST)

13. Apache Solr – Capacités
Peut gérer plusieurs milliards de documents
Gestion de nombreux types de documents (pdf, word, xls, zip, images, mp3, open
office…)
Système de plugins pour les améliorations
Autocompletion, correction orthographique, suggestion
Multilingues
Clustering
Schéma dynamique
Quasi temps réel

14. Apache Solr - Autocomplétion

15. Apache Solr – correction orthographique

16. Apache Solr: recommandations

17. Solr@IFCE: mise en oeuvre du projet
“D’abord le moteur, ensuite les fonctionnalités”
Migration vers Solr démarée en Juillet 2014 pour 4 collections (~5 Millions de docs)
Recette terminé en décembre 2013
Mise en production en février 2014 pour les 4 collections
Ajout de la base Equide comme collection supplémentaire en juillet 2014
Un chef de projet côté IFCE (20%), un expert Solr côté France Labs (100%)
Budget total de 15K€

18. Solr@IFCE: informations techniques
5 millions de documents indexés
Taille de l’index : 3 Go
Stabilité: 99%
Nombre de champs: 170 pour les chevaux
Hardware: VM avec 4 procs, 12 Go RAM dont 4 pour la JVM
Index en mémoire

19. Data Sources
Moteur de recherche
Front end
Admin UI
Pipeline
d’indexation
DB Oracle
Site web
Apache Solr 4
IFCE – Architecture
DIH
Core 1
Core 4
Manifold
CF

20. Solr@IFCE: statu quo
Périmètre fonctionnel conservé
Réduction drastique des coûts
Esprit de partage grâce à l’open source
Réalisation du POC pour SolrCloud, démarrée en août 2014. Fin prévue en décembre
2014.

21. Solr@IFCE: prochaines étapes
Passage à SolrCloud pour la section Chevaux de Haras Nationaux (4 millions de
chevaux)
Passage à SolrCloud pour toutes les sections de Haras Nationaux (50 millions de
documents)
Hardware prévu: 3 VM, 50 M de docs et 9 shards (replication x3)
Moteur interne à l’IFCE
Vision à 3 ans : Géolocalisation, ...

22. France Labs – Nos prestations
Installation
Editeur logiciel
Formation Consulting

23. France Labs – Notre présence
Clientèle européenne, grands comptes comme TPE.
Participation active dans l’écosystème
• Local : commission open source de Telecom Valley, Tech Conf, RE:Conf
• National : organisateur de l’Enterprise Search Meetup à Paris, interventions au Search Day
• International: interventions à Enterprise Search Europe.
Datafari – notre solution complète de recherche – est disponible en open source,
licence Apache

24. DES QUESTIONS ? (mais que représente le logo de France Labs ?!)
A VOTRE DISPOSITION AUJOURD’HUI
CEDRIC.ULMER@FRANCELABS.COM
@FRANCELABS