Charla para la (gran) comunidad GDG Toledo, 28 noviembre 2018. https://www.meetup.com/es-ES/gdgtoledo_es/events/256539981/ - Introducción a las interfaces conversacionales - Cómo crear tu primera Alexa Skill - Cómo crear tu primera Action de Google Monoceros Labs > Carlos Muñoz-Romero y Nieves Ábalos.

1. Introducción a las
interfaces conversacionales
Carlos Muñoz-Romero @carlos_munoz
Nieves Ábalos @nieves_as
Monoceros Labs (monoceros.xyz)
1

2. 2
¿De qué vamos a hablar?
INTERFACES
CONVERSACIONALES
CREAR APPS DE VOZ:
LAS BASES
NUESTRAS
RECOMENDACIONES
(Alexa Skills,
Google Actions)
@nieves_as
@carlos_munoz

3. 3
@nieves_as
@carlos_munoz
Pregunta...

4. 4
@nieves_as
@carlos_munoz
Resultados
(hasta hoy)

5. 5
¿Quiénes somos?
NIEVES ÁBALOS
Ing. Informática & MSc
por la Universidad de
Granada. Investigadora
en Sistemas de diálogo
desde 2009.
@nieves_as
CARLOS MUÑOZ-ROMERO
Ex-director de Innovación en
BEEVA (empresa BBVA),
Product Manager y
Emprendedor.
@Carlos_Munoz
@nieves_as
@carlos_munoz

6. 6
@nieves_as
@carlos_munoz
naiz.chatmonoceros.xyz

7. 7
@nieves_as
@carlos_munoz

8. 8
@nieves_as
@carlos_munoz https://naiz.chat

9. 9
¿Qué es Monoceros?
hello@monoceros.xyz
@nieves_as
@carlos_munoz

10. 10
Nuestras apps de voz para
Google Assistant
@nieves_as
@carlos_munoz

11. 11
Nuestras apps de voz para
Amazon Alexa
@nieves_as
@carlos_munoz https://www.youtube.com/watch?v=qxrhFd7K67s

12. 12
conversational AI
VUI
CUI
chatbot
conversational
interface
virtual
assistant
voice app
dialog
system
HCI
conversational
web
@nieves_as
@carlos_munoz

13. 13
Los comienzos son
siempre difíciles...
@nieves_as
@carlos_munoz

14. 14
Los comienzos son
siempre difíciles...
… como en la Web
@nieves_as
@carlos_munoz

15. 15
… o en las apps móviles
Los comienzos son
siempre difíciles...
@nieves_as
@carlos_munoz

16. 16
@nieves_as
@carlos_munoz
1950
1960
1970
1980
1990
2000
2010
2020
ELIZA
1966
PARRY
1971
SMARTER
CHILD
2001/2003
ALEXA
2014
GOOGLE
ASSISTANT
2016
Realidad
Los orígenes

17. 17
@nieves_as
@carlos_munoz
FICCIÓN
CAPACIDAD
TÉCNICA
REAL
LO QUE
SE
‘HACE’
Las expectativas
generadas
por la
ciencia ficción...

18. 18
@nieves_as
@carlos_munoz
COCHE FANTÁSTICO
(1982)
Las expectativas
generadas
por la
ciencia ficción...

19. 19
@nieves_as
@carlos_munoz
HER
(2013)
Las expectativas
generadas
por la
ciencia ficción...

20. ALEXA
2014
20
@nieves_as
@carlos_munoz
1950
1960
1970
1980
1990
2000
2010
2020
ELIZA
1966
PARRY
1971
SMARTER
CHILD
2001/2003
GOOGLE
ASSISTANT
2016
HAL9000
1968
K.I.T.T.
1982
SAMANTHA
(HER) 2013
Realidad
Ficción

21. 21
Y luego están
las expectativas
cuando hablamos de
“la IA del chatbot”.
… no hagamos creer que
“reglas hardcodeadas” =
Inteligencia Artificial
@nieves_as
@carlos_munoz

22. 22
Queremos hablar, y...
evaluar si son
realmente
inteligentes
@nieves_as
@carlos_munoz

23. 23
Queremos hablar, y...
muchas veces, nos dicen:
“perdona, no he entendido.”
@nieves_as
@carlos_munoz

24. 24
Queremos
realizar una pregunta,
pedir un producto y...
muchas veces,
no nos entienden
(ni con botones).
@nieves_as
@carlos_munoz

25. 25
¿Crees que volveremos
a hablarle a ese chatbot
en Facebook Messenger?
Source: Chatbot Summit 2018,
https://twitter.com/glazy_ai/status/1055043446669479936
@nieves_as
@carlos_munoz

26. 26
Source: Alan Nichols, August 2018, O’Reilly
¿Dónde estamos
entonces?
Inteligencia vs
Tiempo hasta llegar al
mercado.

27. 27
@nieves_as
@carlos_munoz
Cómo crear
aplicaciones de voz (las bases)

28. 28
@nieves_as
@carlos_munoz
Algunos asistentes del mercado
Apple (Siri)
IBM Watson

29. 29
@nieves_as
@carlos_munoz
.. a los que podemos “extender” con...
Apple (Siri)
Alexa Skills Kit + AWS
SiriKit (Shortcuts)
Bixby Capsules
Azure + Cortana
IBM Watson Cloud + Bluemix + Watson

30. 30
@nieves_as
@carlos_munoz
… y otros son open-source y ¿privados?
Apple (Siri) SiriKit (Shortcuts)
Bixby Capsules
Azure + Cortana
IBM Watson Cloud + Bluemix + Watson
Alexa Skills Kit + AWS

31. 31
@nieves_as
@carlos_munoz
DEPENDIENTE
DEL IDIOMA
Herramientas
Modelos
DEPENDIENTE
DEL USUARIO
Comprensión del lenguaje
Manera de expresarse
Limitaciones (a tener en cuenta)
!!

32. 32
@nieves_as
@carlos_munoz
MULTIMODAL
Voz
Visual
Texto
Tipos de interacción

33. 33
@nieves_as
@carlos_munoz
Proceso
Diseño
Prototipo
interacción
Entrenar modelo
Implementar
gestión diálogo
Testear Publicar
Llegar a más
usuarios
Implementar
funcionalidad
Escribir
respuestas
Implementar

34. 34
@nieves_as
@carlos_munoz
Proceso más iterativo y artesano
Diseño
Prototipo
interacción
Entrenar modelo
Implementar
gestión diálogo
Testear Publicar
Llegar a más
usuarios
Implementar
funcionalidad
Escribir
respuestas
Implementar
¡entornos! certificación

35. 35
OBJETIVO
Conversar (social)
Responder FAQs
Automatizar tareas
Consultar calendario
Comprar
Preguntar por el estado
de un pedido
Guiar en un
procedimiento
A QUIÉN
Tipo de experiencia
Tono
Personalidad
MODO
Voz, Gestual, Texto
Visual only
Voice only
Multimodal
Voice First
LUGAR
Cocina
Salón
Coche
Dispositivo audio/voz/táctil
App móvil / Email / Mensajería
MOMENTO
Commuting
Haciendo deporte
...
Diseño
@nieves_as

36. 36
PROBAR
Diálogos
Happy paths
Escenarios de error o
inesperados
Esquema de interacción
Técnica Mago de Oz
(Wizard of Oz)
Role Plays
RECOPILAR INFO
Frases que debe
entender..
de diferentes
TIPOS de usuarios
ELEMENTOS CLAVE
¿Emociones?
¿Recordar información?
¿Uso del contexto?
¿Qué tipo de contexto?
Prototipar interacción
@nieves_as

37. 37
Asistente vs Extender el asistente
“Alexa, ¿cómo te llamas?”
“..¿qué tiempo hace en Toledo?”
“.. pon una alarma”
“.. ¿qué tal estás?”
...

38. 38
Asistente vs Extender el asistente
“Ok Google, ¿cómo te llamas?”
“..¿qué tiempo hace en Toledo?”
“.. pon una alarma”
“.. ¿qué tal estás?”
...

39. Backend
(ARQUITECTURA)
39
“<Asistente>, abre Veo veo...”
“.. abre Historias para
Recordar...”
...
FUNCIONALIDAD
Asistente vs Extender el asistente

40. 40
Arquitectura

41. 41
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”

42. 42
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU

43. 43
@nieves_as
@carlos_munoz
“qué tiempo hace en Madrid”
“el tiempo en Sevilla”
“qué tiempo hace en Toledo”
“tiempo en Córdoba”
...
Natural
Language
Understanding
NLU
ciudad
entrenar
modelo
entity:
tiempoCiudadintent:
Arquitectura: NLU

44. 44
@nieves_as
@carlos_munoz
Natural
Language
Understanding
NLU
ciudad = Toledoentity:
tiempoCiudadintent:
Arquitectura: NLU
“qué tiempo hace en Toledo”
“qué tiempo hace en Toledo”
entity?
intent?

45. 45
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU
{ intent: tiempoCiudad
entity: [ { ciudad: “Toledo” }]}
@nieves_as
@carlos_munoz

46. 46
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU
{ intent: tiempoCiudad
entity: [ { ciudad: “Toledo” }]}
Dialog
Management
DM
@nieves_as
@carlos_munoz

47. 47
@nieves_as
@carlos_munoz
Arquitectura: DM
ORIENTADO A EVENTOS
Intent (Entidades, ...)
“qué tiempo hace en Toledo”

48. 48
@nieves_as
@carlos_munoz
Arquitectura: DM
ORIENTADO A EVENTOS
Intent (Entidades, ...)
PROGRESO en el TIEMPO
Intent (Entidades, Sesión, ...)
“qué tiempo hace en Toledo”
“llevas 5 palabras acertadas,
¿seguimos jugando?”
“no, gracias”

49. 49
@nieves_as
@carlos_munoz
Arquitectura: DM
ORIENTADO A EVENTOS
Intent (Entidades, ...)
PROGRESO en el TIEMPO
Intent (Entidades, Sesión, ...)
NO LINEAL (no son flujos)
Intent (Entidades, Sesión, History...)
“qué tiempo hace en Toledo”
“llevas 5 palabras acertadas,
¿seguimos jugando?”
“Olvídalo, ¿necesito paraguas hoy?”
“¿Cuándo?”
“qué tiempo va a hacer hoy”
“bueno no, hoy no”
“¡Hola de nuevo! Hoy...”
“no, gracias”

50. 50
@nieves_as
@carlos_munoz
Arquitectura: DM
ORIENTADO A EVENTOS
Intent (Entidades, ...)
PROGRESO en el TIEMPO
Intent (Entidades, Sesión, ...)
NO LINEAL (no son flujos)
Intent (Entidades, Sesión, History...)
“qué tiempo hace en Toledo”
“afsdsk”
“llevas 5 palabras acertadas,
¿seguimos jugando?”
“Olvídalo, ¿necesito paraguas hoy?”
“¿Cuándo?”
“qué tiempo va a hacer hoy”
“bueno no, hoy no”
“¡Hola de nuevo! Hoy...”
GESTIÓN ERRORES
Casos no esperados (no happy path)
“no, gracias”

51. 51
@nieves_as
@carlos_munoz
ciudad = ????entity:
tiempoCiudadintent:
Arquitectura: DM > Gestión de errores
● Policy: Slot filling
Dialog
Management
DM
¡KO! … needEntity(ciudad) { … }

52. 52
@nieves_as
@carlos_munoz
ciudad = ????entity:
tiempoCiudadintent:
● Policy: Slot filling
Dialog
Management
DM
ciudad = Toledoentity:
tiempoCiudadintent: Dialog
Management
DM
DB
f(x){...}
API -> GET
Nieves,
{“location”: “Toledo”}}
¡OK!
¡KO! … needEntity(ciudad) { … }
Arquitectura: DM > Gestión de errores

53. 53
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU
{ intent: tiempoCiudad
entity: [ { ciudad: “Toledo” }]}
Dialog
Management
DM
DB
f(x)
{ policy: requestFulfilled
f(x): weather(“Toledo”)}
@nieves_as
@carlos_munoz

54. 54
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU
{ intent: tiempoCiudad
entity: [ { ciudad: “Toledo” }]}
Dialog
Management
DM
DB
f(x)
{ policy: requestFulfilled
f(x): weather(“Toledo”)}
Response
Generation
RG / NLG
{ pattern: “va a estar <status>”
status: “lluvioso”}
@nieves_as
@carlos_munoz

55. 55
Arquitectura
Automatic Speech
Recognizer
ASR
“qué tiempo hace en Toledo”
Natural
Language
Understanding
NLU
{ intent: tiempoCiudad
entity: [ { ciudad: “Toledo” }]}
Dialog
Management
DM
DB
f(x)
{ policy: requestFulfilled
f(x): weather(“Toledo”)}
Response
Generation
RG / NLG
{ pattern: “va a estar <status>”
status: “lluvioso”}
Text-to-Speech
TTS
@nieves_as
@carlos_munoz

56. 56
@nieves_as
@carlos_munoz
Cómo crear Alexa Skills
y Google Actions (recomendaciones)

57. 57
Pregunta...
¿Cuántos tenéis experiencia con AWS?
@nieves_as
@carlos_munoz

58. 58
Pregunta...
¿En qué programáis?
@nieves_as
@carlos_munoz

59. 59
Creando sin programar
@nieves_as
@carlos_munoz

60. 60
Diseñando para voz
@nieves_as
@carlos_munoz

61. 61
Diseñando para voz
@nieves_as
@carlos_munoz

62. 62
Prototipando para voz
@nieves_as
@carlos_munoz

63. 63
DM
TTS
ASR
RG
NLU
context attr:
history
session
DB
f(x)
Alexa Skills
Kit
AWS
Lambda
@nieves_as
@carlos_munoz
Creando una Skill para Alexa

64. 64
Crear nueva skill
@nieves_as
@carlos_munoz

65. 65
Entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

66. 66
Entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

67. 67
Entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

68. 68
Entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

69. 69
Añadir endpoint (DM)
@nieves_as
@carlos_munoz

70. 70
Empezar con Cloudformation
@nieves_as
@carlos_munoz

71. 71
Nuestra Lambda > Endpoint ARN
@nieves_as
@carlos_munoz

72. 72
Generar código automáticamente (DM)
@nieves_as
@carlos_munoz

73. 73
Generar código automáticamente (DM)
@nieves_as
@carlos_munoz

74. 74
SDK para el DM
@nieves_as
@carlos_munoz

75. 75
SDK para el DM
@nieves_as
@carlos_munoz

76. 76
Simulando y testeando en la web
@nieves_as
@carlos_munoz

77. 77
Tests y más tests
@nieves_as
@carlos_munoz

78. 78
DM
TTS
ASR
RG
NLU
context attr:
history
session
DB
f(x)
@nieves_as
@carlos_munoz
Creando una Action para Google

79. 79
Crear nuevo Action
@nieves_as
@carlos_munoz

80. 80
Entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

81. 81
Conectar con el fulfillment (DM)
@nieves_as
@carlos_munoz

82. 82
Analytics > Uso de la app
@nieves_as
@carlos_munoz

83. 83
Re-entrenar el modelo (NLU)
@nieves_as
@carlos_munoz

84. 84
Histórico de conversaciones
@nieves_as
@carlos_munoz

85. 85
Analytics > Valoraciones
@nieves_as
@carlos_munoz

86. 86
Y el ingrediente secreto…
@nieves_as
@carlos_munoz

87. 87
Y el ingrediente secreto…
@nieves_as
@carlos_munoz

88. 88
¡La personalidad!
TTS
DM
ASR
RG
NLU f(x)
DB
REGLAS
de comportamiento
Patrones de
respuesta
Tono del audio
SSML
@nieves_as
@carlos_munoz

89. 89
TTS con SSML en Google Action
¡La personalidad!

90. 90
TTS con SSML en Alexa
AWS
Polly
¡La personalidad!

91. 91
¡La personalidad!

92. 92
@nieves_as
@carlos_munoz
Se abre un mundo nuevo
con infinidad de aplicaciones…
¿Construimos algo juntos?

93. 93

94. 94
¡Gracias!
¿Preguntas?
Contacto: hello@monoceros.xyz
Carlos Muñoz-Romero
twitter: @carlos_munoz
linkedin: /in/carlosmunozromero
Nieves Ábalos
twitter: @nieves_as
linkedin: /in/nievesabalosserrano

95. 95