1. Laboratoire de Sciences Cognitives et Psycholinguistique, EHESS-ENS-CNRS, Paris
Departement d’Etudes Cognitives, ENS
Difficultés persistantes dans la
perception des sons étrangers
Emmanuel Dupoux
Groupe Compas 2008

2. Les bases biologiques du langage
(Lenneberg 1967)
langage parlé langage écrit
• dans toutes les sociétés + -
• éducation nécessaire - +
• acquisition explosive + -
• correlation avec QI - +
! période critique pour le langage parlé (puberté)
! latéralisation progressive dans l’hémisphère gauche

3. Les différents niveaux de traitement
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

4. Acquisition d’une 1ère langue

5. Acquisition d’une 1ère langue

6. Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

7. Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

8. Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

9. Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

10. • Hypothèse: les niveaux de traitement acquis
très tôt pendant l ’enfance sont difficile à
changer dans l ’acquisition d ’une langue
étrangère.

11. Le traitement des sons linguistiques
1. les catégories segmentales
Code lexical
Segmentation et
identification
des mots
Code prélexical
Décodage
Phonétique
Code acoustique/phonétique

12. Apprentissage par désapprentissage: les phonèmes
1
0,9
0,8
0,7
0,6
catégorisation
0,5
discrimination
0,4
0,3
0,2
0,1
0
0 0,2 0,4 0,6 0,8 1

13. Les bébés perçoivent la parole
de façon catégorielle
/ba/ /da/
Intra Inter
Contrôle
test de t
Intra Contrôle Inter
Eimas et al, 1971 test de t test de t
Dehaene-Lambertz & Baillet, NeuroReport, 1998

14. Les catégories dépendent des langues

15. L ’émergence des catégories
phonémiques
6-8mois 8-10mois 10-12mois 10-12mois
Werker & Tees (1984)
Les catégories phonémiques:
• sont formées pendants la première année de vie
• sur la base de l ’input acoustique disponible
• elles déterminent notre perception des Maye and Gerken (2002)
contrastes maternels et étrangers

16. Les voyelles
3 vowels systems 20 vowels systems
~ ~
i u i u i~ u
~
I U I U
~
a e -- o
o e -- õ
õ
æa D e ~
ã ãD
(Aranda, Greenlandic) (Panjabi)
Kuhl (1996): learning at 6 months

17. La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
segmentation en syntagmes phonologiques (Gerken et al.
7 1994)
8 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
9 et al. 1993, 1994)
10 mots de function (Shady 1996)
11 répertoire de consonnes (Werker & Tees 1984)
12
début du lexique
(mois)

18. Le traitement des segments
Code lexical
Segmentation et
identification
des mots
Japonais Espagnol Catalan
[‰a] ["] [e,"]
Code prélexical
Assimile au segment
phonétiquement le plus Prototypes
proche Décodage
consonnes et
Phonétique voyelles
|la, ®a| |e, "| |e, "| Code acoustique/phonétique

19. Apprentissage d’une L2
Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)
[e] vs ["] classification Lexical decision: long term repetition priming
[pera] ... [pera]
[p"ra] ... [pera]

20. Apprentissage d’une L2
Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)
[e] vs ["] classification Lexical decision: long term repetition priming
[pera] ... [pera]
[p"ra] ... [pera]

21. 2. Les suprasegments
• l’accent tonique durée pitch qualité
– espagnol: bébe vs bebé !
– italien: ‘ancora vs anc‘ora ! !
– anglais: record vs record ! !
• la gémination
– japonais: to vs too
kita vs kitta
• les tons
– chinois, suédois

22. Spécialisation de la perception des
suprasegments
– Difficulties for English hearers with
Chinese tones (Wang et al. 2000)
– Tokyo dialect versus non-accented Mito &
Kumamoto dialect (Otake & Cutler, 1999).
• significantly less sensitivity to pitch accent in making
lexical judgments
• more reliance on guessing (based on vocabulary statistics)
– Duration ‘ deafness’: (Dupoux et al. 1997)
• tookjoo ! tokjo
• kjooto ! kjoto
French Spanish
– Stress ‘ deafness ’
• ABX discrimination task (Dupoux, Pallier, Sebastian, Mehler, 1997)

23. “Surdité” à l’accent tonique
• Accent prédictif • Répétition de séquences
– French, Finnish, Hungarian – AABAB ! réponse 11212
– conditions:
• Accent contrastif
phoneme: [muku - munu]
– Espagnol
accent: [nu' i - numi'
m ]
100
90
80
70
percent error
60
phoneme
50
stress
40
30
20
10
0
French Finnish Hungarian Spanish
Peperkamp, Vendelin & Dupoux (sous presse)

24. Spécialisation suprasegmentale à 9
mois
20
18
16
Mean looking time (sec)
14
12
Switch
10
Same
8
6
4
2
0
Spanish (n=24) French (n=24) French (n=24)
Skoruppa, K., Pons, F. Christophe, A., Bosch, L. Dupoux, E.,
Sebastián-Gallés, N., Limissuri, R.A., Peperkamp, S. (submitted)

25. La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
spécialisation suprasegmentale (Jusczyk et al, Skoruppa et al)
7
segmentation en syntagmes phonologiques (Gerken et al.
8 1994)
9 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
10 et al. 1993, 1994)
11 mots de function (Shady 1996)
12 répertoire de consonnes (Werker & Tees 1984)
(mois)
début du lexique

26. Le traitement des suprasegments
French Spanish
[bebe] [bébe, bebé] Phonological
Code
Assimilate to the closest phonetic
legal form Phonetic Suprasegmental
syllables
Prototypes
Decoding
|bébe, bebé| |bébe, bebé|
Acoustic/Phonetic Code

27. French (N=32) Late learners (N=51) Spanish (N=32)
Total amount of exposure to Spanish
small (N=16) moderate (N=18) large (N=17) all late learners
Biographic data
Mean age 25 26 27 30 28 22
Country of testing
France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) N=18 (35%) 0%
Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%
Language background
Mean age of acquisition n.a. 17 17.1 14.3 16.1 n.a.
Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 2.0 n.a.
Learned Spanish in school n.a. 80% 67% 88% 76% n.a.
Learned Spanish at university n.a. 75% 56% 88% 73% n.a.
Regularly visits Hispanic countries n.a. 9% 56% 94% 54% n.a.
Regularly speaks Spanish in private life n.a. 13% 64% 74% 51% n.a.
Regular speaks Spanish in professional/student life n.a. 94% 94% 100% 96% n.a.
Subjective assessment
Importance of Spanish (1: no importance - 10:extremely important )
Mean n.a. 8.94 8.94 9.35 9.08 n.a.
SE n.a. 0.28 0.31 0.12 0.15 n.a.
Pronunciation (1: extremely poor - 10: perfect)
Mean n.a. 6.25 6.61 7.88 6.92 n.a.
SE n.a. 0.50 0.41 0.24 0.25 n.a.
Grammar (1: extremely poor - 10: perfect)
Mean n.a. 6.75 7.00 7.94 7.24 n.a.
SE n.a. 0.43 0.28 0.29 0.20 n.a.
Vocabulary (1: extremely poor - 10: perfect)
Mean n.a. 6.94 7.22 7.94 7.37 n.a.
SE n.a. 0.31 0.37 0.20 0.18 n.a.
Production
Native-like accent (1: extremely poor - 6: perfect)
Mean n.a. 2.03 2.78 3.80 2.90 5.67
SE n.a. 0.28 0.25 0.32 0.19 0.09
Stress errors
Mean n.a. 16.4% 14.9% 4.5% 12.1% 0.0%
SE n.a. 3.8 3.2 2.5 2.0 0.0
Lexicon
Errors in Lexical Decision
Mean na. 14.6% 10.5% 5.9% 10.7% 1.7%
SE na. 2.6 2.0 1.5 1.3 0.5

28. French (N=32) Late learners (N=51) Spanish (N=32)
Total amount of exposure to Spanish
small (N=16) moderate (N=18) large (N=17) all late learners
Biographic data
Mean age 25 26 27 30 28 22
Country of testing
France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) N=18 (35%) 0%
Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%
Language background
Mean age of acquisition n.a. 17 17.1 14.3 16.1 n.a.
Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 2.0 n.a.
Learned Spanish in school n.a. 80% 67% 88% 76% n.a.
Learned Spanish at university n.a. 75% 56% 88% 73% n.a.
Regularly visits Hispanic countries n.a. 9% 56% 94% 54% n.a.
Regularly speaks Spanish in private life n.a. 13% 64% 74% 51% n.a.
Regular speaks Spanish in professional/student life n.a. 94% 94% 100% 96% n.a.
Subjective assessment
Importance of Spanish (1: no importance - 10:extremely important )
Mean n.a. 8.94 8.94 9.35 9.08 n.a.
SE n.a. 0.28 0.31 0.12 0.15 n.a.
Pronunciation (1: extremely poor - 10: perfect)
Mean n.a. 6.25 6.61 7.88 6.92 n.a.
SE n.a. 0.50 0.41 0.24 0.25 n.a.
Grammar (1: extremely poor - 10: perfect)
Mean n.a. 6.75 7.00 7.94 7.24 n.a.
SE n.a. 0.43 0.28 0.29 0.20 n.a.
Vocabulary (1: extremely poor - 10: perfect)
Mean n.a. 6.94 7.22 7.94 7.37 n.a.
SE n.a. 0.31 0.37 0.20 0.18 n.a.
Production
Native-like accent (1: extremely poor - 6: perfect)
Mean n.a. 2.03 2.78 3.80 2.90 5.67
SE n.a. 0.28 0.25 0.32 0.19 0.09
Stress errors
Mean n.a. 16.4% 14.9% 4.5% 12.1% 0.0%
SE n.a. 3.8 3.2 2.5 2.0 0.0
Lexicon
Errors in Lexical Decision
Mean na. 14.6% 10.5% 5.9% 10.7% 1.7%
SE na. 2.6 2.0 1.5 1.3 0.5

29. Tasks
• Prelexical: sequence recall
– Conditions: phoneme: [fiku] - [fitu]
stress: [númi] - [numí]
– Sequence length four only
• Lexical: auditory lexical decision
– Spanish items
– Conditions: phoneme: * [vulor] (< [valor] ‘value’)
stress: * [mesá] (< [mésa] ‘table’)

30. 90
80 Phoneme
70 Stress
60
Percent Error
50
40
30
20
10
0
Training Test Training Test Training Test Training Test Training Test
French Beginners Intermediate Advanced Spanish
Bilinguals
STM task: sequence recall

31. 90
80 Phoneme
70 Stress
60
Percent Error
50
40
30
20
10
0
Training Test Training Test Training Test Training Test Training Test
French Beginners Intermediate Advanced Spanish
Bilinguals
STM task: sequence recall

34. Stress ‘deafness’ in good bilinguals 1
sequence repetition
recall
100
80
% error (stress minus
60
phoneme)
40
20
0
-20
-40
-60
French 'bad' 'good' Spanish
monolinguals bilinguals bilinguals monlinguals
73% 27%

35. Stress ‘deafness’ in good bilinguals 2
lexical decision
100
80
% error (stress minus
60
phoneme)
40
20
0
-20
-40
French 'bad' 'good' Spanish
monolinguals bilinguals bilinguals monlinguals
73% 27%

36. 3. la structure syllabique:
(ou les illusions phonologiques)
• Japonais
syllabes légales: V, CV, VN, CVN
syllabes illégales: *CVC, *CCV, ...
! insérer /u/ après une
emprunts:
consonne de coda, ou
“Sphinx” ! [sufi˜kusu] dans un cluster d’onset
“Christmas” ! [kurisutomasu] (insérer /o/ après une
stop dentale)
• Français
syllabes légales: CCV: dra, pnØ
syllabes illégales: CCV: *dla, * npØ, ...
• Berber

37. Les voyelles fantômes
Détection de voyelle Tâche ABX
time
% u detection
100
S1 S2 S3
80 A B A Response
A B B A or B
Japanese
60 female voice male voice
40
Conditions:
20 French cluster: ebuzo-ebzo
zo
vowel length: ebuzo-ebu…
0
Other No 0ms 14ms 29ms 44ms 58ms Full
Cluster - Vowel score (%)
50
[ebazo] [ebzo] [ebuzo]
0
-50
Dupoux, Kakehi, Hirose, Pallier, & Mehler (1997) French Japanese

38. ERPs de haute densité
600 ms
Time Ebuzo …Ebizo
Ebzo … Ebizo
r
ist
D
S1 S2 S3 S4 S5 Ebuzo … Ebzo
B B B B A Deviant Ebzo … Ebuzo
nt
ia
ev
A A A A A
D
Control
Ebuzo …Ebuzo
6 female voices male voice
l
ro
Ebzo … Ebzo
t
on
0 25 50 75 100
C
Japanese French #v
+
400
-400
800
[ebuzo] 200
vs _
+
[ebzo] + Mismatch Negativity
.001 .01 .05 .05 .01 .001
p
Dehaene-Lambertz, Dupoux & Gout (2000)

39. Où? IRMf
Phonological Acoustic
p<.001
Phonological - Acoustic
Supramaginal Gyrus
Superior Temporal Gyrus L
p<.005
Jacquemot, Pallier, Dehaene, Lebihan and Dupoux (submitted)

40. illusion phonologique à 14 mois
12
Same
Switch
10
*
8 † **
Looking time (sec)
6
4
2
0
French infants Japanese infants French infants Japanese infants
8 month-olds 14 month-olds
Average looking times during same and switch trials for French and Japanese 8 and 14 month-old infants
† p= .053 * p< .03 ** p< .003

41. La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
segmentation en syntagmes phonologiques (Gerken et al.
7 1994)
8 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
9 et al. 1993, 1994)
10 mots de function (Shady 1996)
11 répertoire de consonnes (Werker & Tees 1984)
12
début du lexique
(mois)

42. Le role de la structure syllabique
Code lexical
Segmentation et
identification
des mots
Japonais Portugais
Brésilien
[e.bu.zo, en.zo] [e.bi.zo]
Code prélexical
Assimile à la plus proche Prototypes
syllabe Décodage
syllabiques
Phonétique
|ebzo, enzo| |ebzo| Code acoustique/phonétique

43. Apprentissage d’une L2:
la persistence des voyelles fantomes
• Japanese Monolinguals (N=10)
• French Monolinguals (N=12)
• Japanese-French Late learners (N=20)
– French after 12
– more than 1.5 year outside Japan
• Perception: /u/ detection on a ebzo-ebuzo
continuum
• Production: imitation of tokens from continuum;
scoring by two phoneticians

44. 100% 100%
%u perceived
80%
%u produced
80%
Japanese
60% Late 60%
40% learners
40%
French
20% 20%
0% 0%
ne
ll
r
0
3
4
1
2
er
he
ne
l
fu
4
1
2
0
3
ful
no
oth
ot
no
duration of /u/ duration of /u/

45. • French-Japanese late learners (N=16)
– native Japanese speakers
– late learners of French
– between 2 and 7 years in France
lexical decision (french stimuli)
60
sequence repetition
50
100 40
error rate
80
percent error
30
60
40 20
20 10
0 0
ebiza vs eboza ebza vs ebuza policier plicier boulanger blanger
contrast V insertion V deletion
Nakamura & Dupoux (work in progress)

46. epenthese en decision lexicale versus en short term
memory
100
80
short term task (seq=4) (Errs)
60
40
Français
Japonais
20
0
-20 0 20 40 60
-20
-40
blanger/aluphabet - plicier/alaphabet (Errs)

47. Le traitement des sons linguistiques
le filtre phonologique
Code lexical
Segmentation et
identification
des mots
Code prélexical
Pas plastique! « Surdité »
phonologique
Décodage
Phonétique
Code acoustique/phonétique

48. Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Intervention?
Phonologie
Acoustique

49. Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique

50. Age d’acquisition et accent étranger
Flege, Yeni-
Komshian, & Liu
(1999).
! pourquoi?

51. • Peu de plasticité pour une langue apprise
‘ tardivement ’:
– Compétition entre le système phonologique maternel et
le système de la L2
– Période critique
• Stratégies de compensation
– relative plasticité de la phonétique en production, par
rapport à la perception
– existence de modes de traitement alternatifs (l ’écriture)
– compensation par le contexte
• Degrés de plasticité différents en fonction du
niveau de traitement
– grande plasticité lexicale
– relative plasticité syntaxique (Neville et al 1994, Flege et al,
1999)

52. Conclusions
• Certain tasks show plasticity, others not
– perception tasks:
• good performances:
– /u/ detection,
– /u/ classification, • bad performances:
– standard lexical decision – STM encoding /u/ vs 0
– lexical decision catches /u/ vs 0
– production tasks
• good performances:
– imitation,
– reading
– naming
• Problems in perception and not in production ….
aha … !

53. Lexical Code Lexical Code
Word Form Word Form
Identification Retrieval
Short Term
Phonological store
Input Output
Phonological Code Phonological Code
Phonetic Phonetic
Non plastic Decoding Encoding
Quite plastic
Acoustic/Phonetic Articulatory/Phonetic
Code Code

54. Lexical Code Lexical Code
Word Form Word Form
Identification Retrieval
Short Term
Phonological store
Input Output
Phonological Code Phonological Code
L2 specific
Phonetic Phonetic expertise
Phonetic
Non plastic Decoding Encoding
Quite plastic
Acoustic-
Acoustic/Phonetic Articulatory Articulatory/Phonetic
Code Conversion Code
Quite plastic

55. Why do late learners have a foreign
accent?
Flege, Yeni-
Komshian, & Liu
(1999).