Donnez la voix aux machines

Donnez la voix aux machines
@hellosct1
@hellosct1@mamot.fr
Christophe Villeneuve
27 février 2020

Atos open source - afup – lemug.fr – mariadb – drupal – mozilla - firefox – lemugfr - sumo – webextensions – VR – AR – XR - Cause commune 93.1 FM - TechSpeaker - Lizard - eyrolles – editions eni – programmez – linux pratique – webriver – elephpant - CommonVoice – Sécurité - Cybersécurité
Christophe Villeneuve ?
●
Consultant
●
Dresseur animaux Free Software

- @hellosct1 –
Aujourd’hui
●
Assistants numériques
●
Construire un assistant vocal
●
La qualité
●
Comment Contribuer ?

- @hellosct1 –
Assistants numériques
Construire son Assistant
La qualité

- @hellosct1 –
Assistant numérique : Au service de l’utilisateur
●
Smartphone
●
Enceinte connectée
●
Mixed Reality
Souvent utilisé dans des
contextes où la voix est plus
efficace pour communiquer
Que faire avec ?

- @hellosct1 –
Le traitement de la voix ?
●
Obligation d’un réseau
– Connecter aux internets
– Gourmands en ressources
●
Accès aux services cloud pour pouvoir fonctionner
– Structure lourde
– Entrainement et transcription gourmands en calculs
●
Contraintes
– Souvent laissé à des services tiers en-ligne
– Nécessite beaucoup de données audio avec texte associé
/! La voix doit être personnelle

- @hellosct1 –
L’utilisation de la recherche vocale aujourd’hui
2016 2020
2016 2020
80 %
40 %
60 %
20 %
Texte
Voix
Sur mobile

- @hellosct1 –
Fonctionnement
Assistants vocaux
Requêtes
Résultat
Traitement

- @hellosct1 –
Aujourd’hui : Le constat sur l’écosystème vocal
●
Des gros acteurs (4-5)
– Dominé par les géants du Web d’aujourd’hui
●
Difficile d’accès pour les petits acteurs
– Développeurs logiciels
– Langues et marchés « minoritaires »
●
Alternative pour outiller la communauté
– Emergence d’outils vocaux
→ Projet Common Voice de Mozilla

- @hellosct1 –
Alternative
●
Raspberry PI 3 & +
– Respeaker 2 – Mics PI Hat
●
Arduino
– Movi d’Audème
– Grasp.io
– Voice Recognition
●
Briques pour Les assistants vocaux
– Common Voice – DeepSpeech de Mozilla

- @hellosct1 –
Assistants vocaux
Construire son Assistant
La qualité

- @hellosct1 –
Construire son assistant
Import
CC0
Import
CC0
Sentence
Collector
Sentence
Collector
SaisieSaisie

- @hellosct1 –
Comment çà marche ? → Parler
https://voice.mozilla.org/speak

- @hellosct1 –
Comment çà marche ? → Ecouter
https://voice.mozilla.org/listen

- @hellosct1 –
Augmenter le corpus de texte : Sentence collector
●
Proposer et valider de nouvelles phrases
– Posséder un compte sur Common Voice.
– Identifiez-vous sur le Collecteur de phrases
– Avec vos identifiants de Common Voice.
Validation des phrases
Page
→ page de validation.
Ajouter de nouvelle phrases
Page
→ Ajouter une nouvelle phrase
https://common-voice.github.io/sentence-collector/

- @hellosct1 –
Collecteur de phrases : Ajouter

- @hellosct1 –
Collecteur de phrases : Valider

- @hellosct1 –
Common Voice
●
But
– Aider à apprendre aux machines comment les humains
parlent vraiment
●
Destiné à rendre la reconnaissance vocale ouverte et
accessible à tout le monde
●
Objectifs
– 10 000 heures de données validées par langue
– Mini 2 000 heures
→ Assistant numérique et voix
Common Voice & Deep Speech

- @hellosct1 –
Objectifs (1/2)
●
Cassons les barrières de la voix
– Accès
→ peu de gros jeux de données publiquement accessibles
– Coût
→ ticket d’entrée important pour les jeux de données
commerciaux, avec des complexités légales
– Biais
→ seuls certains marchés sont bien pourvus

- @hellosct1 –
Objectifs (2/2)
●
Collecte de données ouvertes pour l’apprentissage machine
●
Données : audio et texte correspondant
●
Diversité
– Langues
– Accents
– Ages
– Genres
– Qualité sonore
●
Nous visons 10 000 heures de données validées par langue :
https://voice.mozilla.org

- @hellosct1 –
Construire son assistant

- @hellosct1 –
DeepSpeech : proposer de la valeur
●
Des outils
– pour produire
– Entraîner
– Evoluer un modèle de reconnaissance vocale
●
Un (des) modèle(s) de qualité production
– Sous licence libre
●
Une API pour exploiter le modèle le plus
simplement possible

- @hellosct1 –
DeepSpeech : Un modèle libre
●
Libre
– (ré)-Utilisable
– Modifiable et adaptable
– Requiert des données sous licence favorable
●
Local
– Favoriser la décentralisation
– Simplifier l’intégration
– Permettre l’utilisation sur des ‘petits’ systèmes

- @hellosct1 –
Données ouvertes
●
Décentraliser les données : plus de pouvoir aux
utilisateurs et contributeurs
– Facile à obtenir, exploiter
– Partage des données
– Intégration dans d’autres
jeux de données
– Outiller les communautés
https://voice.mozilla.org/fr/datasets

- @hellosct1 –
Intégration (1/2)
●
Plateformes
– Linux AMD64 (+ CUDA), ARMv7, Aarch64
– Android ARMv7, Aarch64
– MacOS (AMD64), Windows (AMD64, CUDA)
●
Langages
– C, Python, Java (android), Javascript (nodeJS, ElectronJS)
– .Net framework
– Rust (Deepspeech-rs)
– Go (go-astideepspeech)
●
Sous-titrage automatique de vidéos sur la plateforme
– eSup Pod v2.4 (application Python/Django)

- @hellosct1 –
Intégration (2/2)
●
Performance : CPU
– Temps réél sur Desktop > 2014
– Temps réél sur Raspberry PI 4
– Temps réél sur Snapdragon 820/835
●
Jeux de données compatibles
– Lingua libre, TrainingSpeech, CommonVoice,
– M-AILABS, African Accented French

- @hellosct1 –
Mots ajoutés
●
Les mots ajoutés quand on parle
●
L’erreur est le mot ‘de’ qui a été ajouté
Elle est située dans la zec
Louise- Gosford, une aire
publique de chasse et de pêche
Elle est située dans la zec
Louise- Gosford, une aire
publique de chasse et de pêche

- @hellosct1 –
Mots oubliés
●
Les mots qu’on oublie
●
L’erreur est le mot ‘de’ qui a été oublié
Angel est sur le point de
l’interroger mais Wo-Pang se
suicide
Angel est sur le point de
l’interroger mais Wo-Pang se
suicide

- @hellosct1 –
Mots accrochés
●
Les mots qu’on accroche
●
La première syllabe du mot ‘Phénicie’ a été accrochée
Elle relie le nord de l’égypte à
la Phé Phénicie, l’Assyrie et la
Mésopotamie
Elle relie le nord de l’égypte à
la Phé Phénicie, l’Assyrie et la
Mésopotamie

- @hellosct1 –
Lettre(s) oubliée(s)
●
Les lettres oubliées qui modifient le sens de la phrase
●
La lettre ‘s’ a été oubliée
→ la phrase ne veut plus rien dire
En conséquence, Durant
Motors perdit des parts de
marché et des revendeurs.
En conséquence, Durant
Motors perdit des parts de
marché et des revendeurs.

- @hellosct1 –
Inversion de syllabe
●
Une syllabe inversée dans un mot
●
Le môt ‘évêché’ est prononcé « échevé »
→ qui est une erreur
Selon l’échevé de Liège, l’abbé
Schoonbroodt ne dispose
d’aucun recours.
Selon l’échevé de Liège, l’abbé
Schoonbroodt ne dispose
d’aucun recours.

- @hellosct1 –
Mauvaise compréhension
de l’échantillon
●
Le matériel « Micro » de mauvaise qualité
●
Un « brouhaha » empêche la compression

- @hellosct1 –
Bruit de souffle
●
Le réglage du micro est mal réglé ou trop élevé
→ Nous obtenons un bruit de souffle

- @hellosct1 –
Volume faible
●
Le volume du micro est faible
→ rend l’échantillon incompréhensible

- @hellosct1 –
Début coupé
●
le ou les premiers mots ne sont pas enregistrés
●
L’enregistrement est déclenché trop tard
●
Les deux premiers ne sont enregistrés
→ Clavier ou souris appuyé trop tard
Puis il affine son plumage et
replie les ailes.
Puis il affine son plumage et
replie les ailes.

- @hellosct1 –
Echantillon coupé
●
l’enregistrement de l’échantillon est stoppé
avant la fin
→ Il manque une partie de la phrase
Les droits de Gielow sont
ensuite rachetés au moment
de la Réforme protestante.
Les droits de Gielow sont
ensuite rachetés au moment
de la Réforme protestante.

- @hellosct1 –
Le dernier mot a été coupé
●
le ou les derniers mots sont coupés avant la fin
de l’enregistrement
●
La dernière syllabe du mot ‘Montgeroult’ est
coupé
L’ensemble du groupe scolaire
se situe à Montgeroult.
L’ensemble du groupe scolaire
se situe à Montgeroult.

- @hellosct1 –
●
Heures enregistrées / Heures validées
Les différences

- @hellosct1 –
La répartition des données
Accent
59% Français de France
3% Français du Canada
2% Français de Belgique
1% Français de Suisse
Âge
< 19 : 3 %
19 - 29 : 21 %
30 - 39 : 23 %
40 - 49 : 14 %
50 - 59 : 8 %
60 - 69 : 4 %
70 – 79 : 1%
Genre
65 % Masculin
12 % Féminin
●
Jeux de données vocales disponible (10 décembre 2019)
– Contenu officiel https://voice.mozilla.org/fr/datasets

- @hellosct1 –
Aider le projet ? (1/2)
●
Common Voice
– Parlez-en
●
Partagez votre voix et valider des échantillons
– Utilisez le jeu de données
●
Faîtes nous des retours
– Améliorez le corpus de texte
●
en proposant de nouvelles phrases (licence CC-0)

- @hellosct1 –
Aider le projet ? (2/2)
●
DeepSpeech
– Construisez des outils innovants basés sur Common
Voice et DeepSpeech
●
Un assistant numérique local ?
●
Un système d’identification de locuteur ?
●
Un système domotique100 % local avec contrôle vocal ?
– Contribuez vos changements
– Echangez sur vos utilisations pour améliorer l’API

- @hellosct1 –
Allez plus loin !
●
Site officiel Common Voice
– https://voice.mozilla.org/
●
Github Francophone Common Voice – DeepSpeech
– https://github.com/Common-Voice/commonvoice-fr
●
DeepSpeech
– https://github.com/mozilla/DeepSpeech
●
Nous contacter
– Forum Francophone
●
https://discourse.mozilla.org/c/voice/fr
– Forum DeepSpeech
●
https://discourse.mozilla.org/c/deep-speech

- @hellosct1 –
Merci
Christophe Villeneuve
@hellosct1
@hellosct1@mamot.fr

Donnez la voix aux machines

Recommandé

Contenu connexe

Similaire à Donnez la voix aux machines

Similaire à Donnez la voix aux machines (20)

Plus de Christophe Villeneuve

Plus de Christophe Villeneuve (20)

Donnez la voix aux machines