Enrichissement des moteurs de recherche: technologie

Enrichissement des moteurs de recherche à partir de connaissances métier Mondeca thomas.francart@mondeca.com

A l’intersection entre les problématiques Amélioration de la recherche grâce au référentiel métier Univers du Document Structuration sémantique du contenu Indexation intelligente du contenu sur sa structure Univers de la recherche Univers de la connaissance

Cas LERUDI Univers du Document Univers de la connaissance Outil de gestion de contenu WCM AFS ITM SDK Univers de la recherche

De quelles connaissances parle-t-on ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Où peut-on intervenir ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Le moteur de recherche ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

SolR explorer : une interface de test ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Le jeu de données ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Point de départ : une indexation simple des sites web – sans enrichissement

Plan ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

1 : enrichissement avec des synonymes ,[object Object],[object Object],[object Object],[object Object],[object Object],< fieldType name =" text " class =" solr.TextField " positionIncrementGap =" 100 "> < analyzer type =" index "> < tokenizer class =" solr.WhitespaceTokenizerFactory " />  < filter class =" solr.SynonymFilterFactory " synonyms =" synonyms.txt " ignoreCase =" true " expand =" true " />  </ analyzer > < analyzer type =" query "> < tokenizer class =" solr.WhitespaceTokenizerFactory " />   </ analyzer > </ fieldType >

Format du fichier de synonymes ,[object Object],[object Object],[object Object],[object Object],[object Object],déreglementation,libéralisation,dérégulation croisière,croisière de plaisance,croisière maritime spectacle,attraction,show vacances familiales,tourisme familial pêche,pêche à la ligne,permis de pêche,article de pêche,pêche au gros,pêche touristique office de tourisme,otsi,office municipal de tourisme,syndicat d'initiative libéralisation,dérégulation => déréglementation croisière de plaisance,croisière maritime => croisière attraction,show => spectacle tourisme familial => vacances familiales pêche à la ligne,permis de pêche,article de pêche,pêche au gros,pêche touristique => pêche otsi,office municipal de tourisme,syndicat d'initiative => office de tourisme

Génération d’un fichier de synonymes ,[object Object],[object Object],< skos:Concept rdf:about =" http://thes.world-tourism.org#VACANCES "> < skos:altLabel xml:lang =" en "> long stays </ skos:altLabel > < skos:altLabel xml:lang =" fr "> marché des vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> genre de vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> long séjour </ skos:altLabel > < skos:altLabel xml:lang =" en "> holiday markets </ skos:altLabel > < skos:altLabel xml:lang =" en "> vacations </ skos:altLabel > < skos:altLabel xml:lang =" es "> mercado de vacaciones </ skos:altLabel > < skos:altLabel xml:lang =" fr "> activité de vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> type de vacances </ skos:altLabel > < skos:altLabel xml:lang =" en "> holiday tourism </ skos:altLabel > < skos:altLabel xml:lang =" fr "> congés payés </ skos:altLabel > < skos:altLabel xml:lang =" es "> estancia larga </ skos:altLabel > < skos:altLabel xml:lang =" fr "> 06.09 </ skos:altLabel > < skos:broader rdf:resource =" http://thes.world-tourism.org#FLUX_TOURISTIQUE " /> < skos:inScheme rdf:resource =" http://thes.world-tourism.org#_06_FLUX_TOURISTIQUE " />  < skos:narrower rdf:resource =" http://thes.world-tourism.org#VACANCES_D'HIVER " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#VACANCES_D'ETE " /> < skos:prefLabel xml:lang =" en "> HOLIDAYS </ skos:prefLabel > < skos:prefLabel xml:lang =" fr "> VACANCES </ skos:prefLabel > < skos:prefLabel xml:lang =" es "> VACACIONES </ skos:prefLabel > </ skos:Concept > … Activités nautiques HOLIDAYS,VACANCES,long stays,marché des vacances,genre de vacances,long séjour,holiday markets,vacations,activité de vacances,type de vacances,holiday tourism,congés payés,06.09 KOREA DPR,COREE RDP,20.03.05.03 TOURISM IN NATIONAL ECONOMIES,TOURISME DANS L'ECONOMIE NATIONALE,04.04.04,place du tourisme dans l'économie …

Au moment de l’indexation ou de la recherche ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Étendre ou ne pas étendre ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],spectacle,attraction,show pêche,pêche à la ligne,permis de pêche,article de pêche,pêche au gros,pêche touristique office de tourisme,otsi,office municipal de tourisme,syndicat d'initiative attraction,show => spectacle pêche à la ligne,permis de pêche,article de pêche,pêche au gros,pêche touristique => pêche otsi,office municipal de tourisme,syndicat d'initiative => office de tourisme attraction,show,spectacle => http://thes.world-tourism.org#SPECTACLE pêche, pêche à la ligne,permis de pêche,article de pêche,pêche au gros,pêche touristique => http://thes.world-tourism.org#PECHE office de tourisme, otsi,office municipal de tourisme,syndicat d'initiative => http://thes.world-tourism.org#OFFICE_DE_TOURISME

Des approches mixtes ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

2 : enrichissement avec des traductions ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],… achat,purchase,compra mosaïque,mosaic,mosaico station de montagne,mountain resort,centro turístico de montaña … < rdf:Description rdf:about =" concept/10910 "> < skos:prefLabel xml:lang =" fr "> station de montagne </ skos:prefLabel > < skos:prefLabel xml:lang =" en "> mountain resort </ skos:prefLabel > < skos:prefLabel xml:lang =" es "> centro turistico de montana </ skos:prefLabel > </ rdf:Description > < fieldType name =" text " class =" solr.TextField " positionIncrementGap =" 100 "> < analyzer type =" index "> < filter class =" solr.SynonymFilterFactory " synonyms =" synonyms.txt " ignoreCase =" true " expand =" true " /> < filter class =" solr.SynonymFilterFactory " synonyms =" gemet.txt " ignoreCase =" true " expand =" true " /> </ analyzer >  </ fieldType >

!? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],… achat,purchase,compra mosaïque , mosaic ,mosaico station de montagne,mountain resort,centro turístico de montaña … ARTISANAT,vitrail,orfèvrerie,mécanique,dentelle,plomberie,tapisserie,ébénisterie, mosaïque ,modélisme,tissage,porcelaine,crafts,artisanat d'art,menuiserie,cristallerie,joaillerie,émaux,peinture sur soie, poterie

3 : enrichissement avec les termes spécifiques ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],[object Object],[object Object],[object Object],[object Object],Génération du fichier de termes spécifiques < skos:Concept rdf:about =" http://thes.world-tourism.org#LOISIRS "> < skos:narrower rdf:resource =" http://thes.world-tourism.org#LOISIRS_DE_PLEIN_AIR " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#SORTIE " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#LOISIRS_D'INTERIEUR " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#OISIVETE " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#LOISIRS_CULTURELS " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#JEU " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#ARTISANAT " /> < skos:prefLabel xml:lang =" fr "> LOISIRS </ skos:prefLabel > </ skos:Concept > < skos:Concept rdf:about =" http://thes.world-tourism.org#LOISIRS_CULTURELS "> < skos:altLabel xml:lang =" fr "> loisirs artistiques </ skos:altLabel > < skos:broader rdf:resource =" http://thes.world-tourism.org#LOISIRS " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#PEINTURE " /> < skos:prefLabel xml:lang =" fr "> LOISIRS CULTURELS </ skos:prefLabel > </ skos:Concept > < skos:Concept rdf:about =" http://thes.world-tourism.org#PEINTURE "> < skos:altLabel xml:lang =" fr "> 09.03.07 </ skos:altLabel > < skos:broader rdf:resource =" http://thes.world-tourism.org#LOISIRS_CULTURELS " /> < skos:prefLabel xml:lang =" fr "> PEINTURE </ skos:prefLabel > </ skos:Concept > RESEAU => TRAFIC,TRANSPORT PEINTURE => LOISIRS CULTURELS,LOISIRS FETE => MANIFESTATION CULTURELLE,MANIFESTATION TOURISTIQUE TRANSPORT FLUVIAL => MODE DE TRANSPORT,TRANSPORT

4 : correction orthographique ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Spellchecking à base d’une liste contrôlée ,[object Object],< config > < searchComponent name =" spellcheck " class =" solr.SpellCheckComponent "> < str name =" queryAnalyzerFieldType "> textSpell </ str > < lst name =" spellchecker "> < str name =" name "> default </ str > < str name =" field "> name </ str > < str name =" spellcheckIndexDir "> ./spellchecker </ str > </ lst > < lst name =" spellchecker "> < str name =" classname "> solr.FileBasedSpellChecker </ str > < str name =" name "> file </ str > < str name =" sourceLocation "> spellcheck.txt </ str > < str name =" characterEncoding "> UTF-8 </ str > < str name =" accuracy "> 0.8 </ str > < str name =" spellcheckIndexDir "> ./spellcheckerFile </ str > </ lst > </ searchComponent > < requestHandler name =" standard " class =" solr.SearchHandler " default =" true "> < lst name =" defaults "> < str name =" echoParams "> explicit </ str > < str name =" spellcheck.onlyMorePopular "> false </ str > < str name =" spellcheck.extendedResults "> false </ str > < str name =" spellcheck.count "> 1 </ str > </ lst > < arr name =" last-components "> < str > spellcheck </ str > </ arr > </ requestHandler > </ config >

Génération du fichier spellcheck.txt ,[object Object],< skos:Concept rdf:about =" http://thes.world-tourism.org#VACANCES "> < skos:altLabel xml:lang =" en "> long stays </ skos:altLabel > < skos:altLabel xml:lang =" fr "> marché des vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> genre de vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> long séjour </ skos:altLabel > < skos:altLabel xml:lang =" en "> holiday markets </ skos:altLabel > < skos:altLabel xml:lang =" en "> vacations </ skos:altLabel > < skos:altLabel xml:lang =" es "> mercado de vacaciones </ skos:altLabel > < skos:altLabel xml:lang =" fr "> activité de vacances </ skos:altLabel > < skos:altLabel xml:lang =" fr "> type de vacances </ skos:altLabel > < skos:altLabel xml:lang =" en "> holiday tourism </ skos:altLabel > < skos:altLabel xml:lang =" fr "> congés payés </ skos:altLabel > < skos:altLabel xml:lang =" es "> estancia larga </ skos:altLabel > < skos:altLabel xml:lang =" fr "> 06.09 </ skos:altLabel > < skos:broader rdf:resource =" http://thes.world-tourism.org#FLUX_TOURISTIQUE " /> < skos:inScheme rdf:resource =" http://thes.world-tourism.org#_06_FLUX_TOURISTIQUE " />  < skos:narrower rdf:resource =" http://thes.world-tourism.org#VACANCES_D'HIVER " /> < skos:narrower rdf:resource =" http://thes.world-tourism.org#VACANCES_D'ETE " /> < skos:prefLabel xml:lang =" en "> HOLIDAYS </ skos:prefLabel > < skos:prefLabel xml:lang =" fr "> VACANCES </ skos:prefLabel > < skos:prefLabel xml:lang =" es "> VACACIONES </ skos:prefLabel > </ skos:Concept > ORGANISMO DE CREDITO 14.11.02 Activités nautiques HOLIDAYS VACANCES VACACIONES marché des vacances genre de vacances long séjour activité de vacances type de vacances congés payés 06.09 KOREA DPR …

5 : structurer sémantiquement le contenu ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Configuration du schema d’indexation ,[object Object],[object Object], < field name =" Mot_Cle_103696 " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" animaux_acceptes " multiValued =" false " type =" string " indexed =" true " stored =" true " /> < field name =" bassin_touristique_at " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" bordereau_Tourinfrance_103952 " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" commune_at " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" zone_geographique_at " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" paiement_accepte " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" label_at " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" langue_parlee " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" type_h " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" classement " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" tarif_nuit_mini " multiValued =" true " type =" string " indexed =" true " stored =" true " />

7 : classification dynamique du contenu ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

ITM-rules : création des règles

Définition de règles : format ,[object Object],[object Object],< skos:Concept rdf:about =" itm:n#_migration_taxo_106544 "> < skos:prefLabel xml:lang =" fr "> Raffiné </ skos:prefLabel > < skos:definition > PREFIX r: <itm:n#> PREFIX q: http://www.nievre-tourisme.com/onto# CONSTRUCT { ?SEARCHED_TOPIC <http://purl.org/dc/terms/subject> r:_migration_taxo_106544 .} WHERE { ?SEARCHED_TOPIC a q:Hebergement . ?SEARCHED_TOPIC q:classement q:class_CAT4 . } </ skos:definition > < skos:definition > PREFIX j: <itm:n#> PREFIX i: http://www.nievre-tourisme.com/onto# CONSTRUCT { ?SEARCHED_TOPIC <http://purl.org/dc/terms/subject> j:_migration_taxo_106544 .} WHERE { ?SEARCHED_TOPIC a i:Hebergement . ?SEARCHED_TOPIC i:classement i:class_4EP . } </ skos:definition > </ skos:Concept >

Content-classifier : Execution des règles 26/10/11 Taxonomy (Classification Rules) SKOS + SPARQL Classification engine RDF Content Metadata … Classification Metadata … ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],?x is a <Hotel> and price(?x) < 50 ?x is a <Camping> and size(?x) > 300 … Terminology SKOS + RDF Content classified with additionnal dcterms:subject and dc:subject properties

Le catalogue classifié avec des métadonnées supplémentaires

Champs d’index supplémentaires pour les nouvelles classifications ,[object Object],[object Object], < field name =" taxo_confort " multiValued =" true " type =" string " indexed =" true " stored =" true " /> < field name =" taxo_generale " multiValued =" true " type =" string " indexed =" true " stored =" true " />

Classification dynamique : Résultat

8 : utilisation d’alignements de référentiels ,[object Object],[object Object],[object Object],GEMET Alignement des thesaurus OMT

ITM-align : Création des alignements

Format des alignements < map > < Cell rdf:about =" 150046 "> < entity1 > < edoal:Class rdf:about =" http://eurlex-directory-codes.europa.eu/0350 " /> </ entity1 > < entity2 > < edoal:Class rdf:about =" http://eurovoc.europa.eu/2897 " /> </ entity2 > < relation > fr.inrialpes.exmo.align.impl.rel.EquivRelation </ relation > < measure rdf:datatype =" http://www.w3.org/2001/XMLSchema#float "> 1.0 </ measure > </ Cell > </ map > < map > < Cell rdf:about =" 152849 "> < entity1 > < edoal:Class rdf:about =" http://eurlex-directory-codes.europa.eu/0350 " /> </ entity1 > < entity2 > < edoal:Class rdf:about =" http://eurovoc.europa.eu/2479 " /> </ entity2 > < relation > fr.inrialpes.exmo.align.impl.rel.EquivRelation </ relation > < measure rdf:datatype =" http://www.w3.org/2001/XMLSchema#float "> 1.0 </ measure > </ Cell > </ map > Concepts alignés Type de la relation Score Format « EDOAL » de l’INRIA : http://alignapi.gforge.inria.fr/edoal.html

Utilisation des alignements ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Alignements des référentiels : résultat Facette sur l’annotation du thesaurus de départ Facette sur les concepts traduits par l’alignement

Désambiguïsation ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Désambiguïsation : principe 1. Utilisation du référentiel à l’indexation 2. Indexation du référentiel 3. Désambiguïsation du terme vers une entité contrôlée 4. Recherche sur l’identifiant de l’entité contrôlée doc2 http://www.z.fr/e1 doc1 http://www.z.fr/e1 http://www.z.fr/e2 cupidon http://www.z.fr/e1 venus

Désambiguïsation : Résultat

Merci de votre attention ! [email_address]

Enrichissement des moteurs de recherche: technologie

Recommandé

Recommandé

Contenu connexe

Similaire à Enrichissement des moteurs de recherche: technologie

Similaire à Enrichissement des moteurs de recherche: technologie (20)

Plus de mondeca

Plus de mondeca (8)

Enrichissement des moteurs de recherche: technologie