[GDG Toledo] Cómo crear una aplicación de voz para Amazon Alexa y Google Assistant
•
0 recomendaciones•478 vistas
Charla para la (gran) comunidad GDG Toledo, 28 noviembre 2018. https://www.meetup.com/es-ES/gdgtoledo_es/events/256539981/ - Introducción a las interfaces conversacionales - Cómo crear tu primera Alexa Skill - Cómo crear tu primera Action de Google Monoceros Labs > Carlos Muñoz-Romero y Nieves Ábalos.
Recomendados
Más contenido relacionado
Similar a [GDG Toledo] Cómo crear una aplicación de voz para Amazon Alexa y Google Assistant
Similar a [GDG Toledo] Cómo crear una aplicación de voz para Amazon Alexa y Google Assistant (20)
Último
Último (20)
[GDG Toledo] Cómo crear una aplicación de voz para Amazon Alexa y Google Assistant
- 1. Introducción a las interfaces conversacionales Carlos Muñoz-Romero @carlos_munoz Nieves Ábalos @nieves_as Monoceros Labs (monoceros.xyz) 1
- 2. 2 ¿De qué vamos a hablar? INTERFACES CONVERSACIONALES CREAR APPS DE VOZ: LAS BASES NUESTRAS RECOMENDACIONES (Alexa Skills, Google Actions) @nieves_as @carlos_munoz
- 5. 5 ¿Quiénes somos? NIEVES ÁBALOS Ing. Informática & MSc por la Universidad de Granada. Investigadora en Sistemas de diálogo desde 2009. @nieves_as CARLOS MUÑOZ-ROMERO Ex-director de Innovación en BEEVA (empresa BBVA), Product Manager y Emprendedor. @Carlos_Munoz @nieves_as @carlos_munoz
- 10. 10 Nuestras apps de voz para Google Assistant @nieves_as @carlos_munoz
- 11. 11 Nuestras apps de voz para Amazon Alexa @nieves_as @carlos_munoz https://www.youtube.com/watch?v=qxrhFd7K67s
- 13. 13 Los comienzos son siempre difíciles... @nieves_as @carlos_munoz
- 14. 14 Los comienzos son siempre difíciles... … como en la Web @nieves_as @carlos_munoz
- 15. 15 … o en las apps móviles Los comienzos son siempre difíciles... @nieves_as @carlos_munoz
- 17. 17 @nieves_as @carlos_munoz FICCIÓN CAPACIDAD TÉCNICA REAL LO QUE SE ‘HACE’ Las expectativas generadas por la ciencia ficción...
- 18. 18 @nieves_as @carlos_munoz COCHE FANTÁSTICO (1982) Las expectativas generadas por la ciencia ficción...
- 21. 21 Y luego están las expectativas cuando hablamos de “la IA del chatbot”. … no hagamos creer que “reglas hardcodeadas” = Inteligencia Artificial @nieves_as @carlos_munoz
- 22. 22 Queremos hablar, y... evaluar si son realmente inteligentes @nieves_as @carlos_munoz
- 23. 23 Queremos hablar, y... muchas veces, nos dicen: “perdona, no he entendido.” @nieves_as @carlos_munoz
- 24. 24 Queremos realizar una pregunta, pedir un producto y... muchas veces, no nos entienden (ni con botones). @nieves_as @carlos_munoz
- 25. 25 ¿Crees que volveremos a hablarle a ese chatbot en Facebook Messenger? Source: Chatbot Summit 2018, https://twitter.com/glazy_ai/status/1055043446669479936 @nieves_as @carlos_munoz
- 26. 26 Source: Alan Nichols, August 2018, O’Reilly ¿Dónde estamos entonces? Inteligencia vs Tiempo hasta llegar al mercado.
- 27. 27 @nieves_as @carlos_munoz Cómo crear aplicaciones de voz (las bases)
- 28. 28 @nieves_as @carlos_munoz Algunos asistentes del mercado Apple (Siri) IBM Watson
- 29. 29 @nieves_as @carlos_munoz .. a los que podemos “extender” con... Apple (Siri) Alexa Skills Kit + AWS SiriKit (Shortcuts) Bixby Capsules Azure + Cortana IBM Watson Cloud + Bluemix + Watson
- 30. 30 @nieves_as @carlos_munoz … y otros son open-source y ¿privados? Apple (Siri) SiriKit (Shortcuts) Bixby Capsules Azure + Cortana IBM Watson Cloud + Bluemix + Watson Alexa Skills Kit + AWS
- 31. 31 @nieves_as @carlos_munoz DEPENDIENTE DEL IDIOMA Herramientas Modelos DEPENDIENTE DEL USUARIO Comprensión del lenguaje Manera de expresarse Limitaciones (a tener en cuenta) !!
- 33. 33 @nieves_as @carlos_munoz Proceso Diseño Prototipo interacción Entrenar modelo Implementar gestión diálogo Testear Publicar Llegar a más usuarios Implementar funcionalidad Escribir respuestas Implementar
- 34. 34 @nieves_as @carlos_munoz Proceso más iterativo y artesano Diseño Prototipo interacción Entrenar modelo Implementar gestión diálogo Testear Publicar Llegar a más usuarios Implementar funcionalidad Escribir respuestas Implementar ¡entornos! certificación
- 35. 35 OBJETIVO Conversar (social) Responder FAQs Automatizar tareas Consultar calendario Comprar Preguntar por el estado de un pedido Guiar en un procedimiento A QUIÉN Tipo de experiencia Tono Personalidad MODO Voz, Gestual, Texto Visual only Voice only Multimodal Voice First LUGAR Cocina Salón Coche Dispositivo audio/voz/táctil App móvil / Email / Mensajería MOMENTO Commuting Haciendo deporte ... Diseño @nieves_as
- 36. 36 PROBAR Diálogos Happy paths Escenarios de error o inesperados Esquema de interacción Técnica Mago de Oz (Wizard of Oz) Role Plays RECOPILAR INFO Frases que debe entender.. de diferentes TIPOS de usuarios ELEMENTOS CLAVE ¿Emociones? ¿Recordar información? ¿Uso del contexto? ¿Qué tipo de contexto? Prototipar interacción @nieves_as
- 37. 37 Asistente vs Extender el asistente “Alexa, ¿cómo te llamas?” “..¿qué tiempo hace en Toledo?” “.. pon una alarma” “.. ¿qué tal estás?” ...
- 38. 38 Asistente vs Extender el asistente “Ok Google, ¿cómo te llamas?” “..¿qué tiempo hace en Toledo?” “.. pon una alarma” “.. ¿qué tal estás?” ...
- 39. Backend (ARQUITECTURA) 39 “<Asistente>, abre Veo veo...” “.. abre Historias para Recordar...” ... FUNCIONALIDAD Asistente vs Extender el asistente
- 40. 40 Arquitectura
- 41. 41 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo”
- 42. 42 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU
- 43. 43 @nieves_as @carlos_munoz “qué tiempo hace en Madrid” “el tiempo en Sevilla” “qué tiempo hace en Toledo” “tiempo en Córdoba” ... Natural Language Understanding NLU ciudad entrenar modelo entity: tiempoCiudadintent: Arquitectura: NLU
- 44. 44 @nieves_as @carlos_munoz Natural Language Understanding NLU ciudad = Toledoentity: tiempoCiudadintent: Arquitectura: NLU “qué tiempo hace en Toledo” “qué tiempo hace en Toledo” entity? intent?
- 45. 45 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU { intent: tiempoCiudad entity: [ { ciudad: “Toledo” }]} @nieves_as @carlos_munoz
- 46. 46 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU { intent: tiempoCiudad entity: [ { ciudad: “Toledo” }]} Dialog Management DM @nieves_as @carlos_munoz
- 47. 47 @nieves_as @carlos_munoz Arquitectura: DM ORIENTADO A EVENTOS Intent (Entidades, ...) “qué tiempo hace en Toledo”
- 48. 48 @nieves_as @carlos_munoz Arquitectura: DM ORIENTADO A EVENTOS Intent (Entidades, ...) PROGRESO en el TIEMPO Intent (Entidades, Sesión, ...) “qué tiempo hace en Toledo” “llevas 5 palabras acertadas, ¿seguimos jugando?” “no, gracias”
- 49. 49 @nieves_as @carlos_munoz Arquitectura: DM ORIENTADO A EVENTOS Intent (Entidades, ...) PROGRESO en el TIEMPO Intent (Entidades, Sesión, ...) NO LINEAL (no son flujos) Intent (Entidades, Sesión, History...) “qué tiempo hace en Toledo” “llevas 5 palabras acertadas, ¿seguimos jugando?” “Olvídalo, ¿necesito paraguas hoy?” “¿Cuándo?” “qué tiempo va a hacer hoy” “bueno no, hoy no” “¡Hola de nuevo! Hoy...” “no, gracias”
- 50. 50 @nieves_as @carlos_munoz Arquitectura: DM ORIENTADO A EVENTOS Intent (Entidades, ...) PROGRESO en el TIEMPO Intent (Entidades, Sesión, ...) NO LINEAL (no son flujos) Intent (Entidades, Sesión, History...) “qué tiempo hace en Toledo” “afsdsk” “llevas 5 palabras acertadas, ¿seguimos jugando?” “Olvídalo, ¿necesito paraguas hoy?” “¿Cuándo?” “qué tiempo va a hacer hoy” “bueno no, hoy no” “¡Hola de nuevo! Hoy...” GESTIÓN ERRORES Casos no esperados (no happy path) “no, gracias”
- 51. 51 @nieves_as @carlos_munoz ciudad = ????entity: tiempoCiudadintent: Arquitectura: DM > Gestión de errores ● Policy: Slot filling Dialog Management DM ¡KO! … needEntity(ciudad) { … }
- 52. 52 @nieves_as @carlos_munoz ciudad = ????entity: tiempoCiudadintent: ● Policy: Slot filling Dialog Management DM ciudad = Toledoentity: tiempoCiudadintent: Dialog Management DM DB f(x){...} API -> GET Nieves, {“location”: “Toledo”}} ¡OK! ¡KO! … needEntity(ciudad) { … } Arquitectura: DM > Gestión de errores
- 53. 53 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU { intent: tiempoCiudad entity: [ { ciudad: “Toledo” }]} Dialog Management DM DB f(x) { policy: requestFulfilled f(x): weather(“Toledo”)} @nieves_as @carlos_munoz
- 54. 54 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU { intent: tiempoCiudad entity: [ { ciudad: “Toledo” }]} Dialog Management DM DB f(x) { policy: requestFulfilled f(x): weather(“Toledo”)} Response Generation RG / NLG { pattern: “va a estar <status>” status: “lluvioso”} @nieves_as @carlos_munoz
- 55. 55 Arquitectura Automatic Speech Recognizer ASR “qué tiempo hace en Toledo” Natural Language Understanding NLU { intent: tiempoCiudad entity: [ { ciudad: “Toledo” }]} Dialog Management DM DB f(x) { policy: requestFulfilled f(x): weather(“Toledo”)} Response Generation RG / NLG { pattern: “va a estar <status>” status: “lluvioso”} Text-to-Speech TTS @nieves_as @carlos_munoz
- 56. 56 @nieves_as @carlos_munoz Cómo crear Alexa Skills y Google Actions (recomendaciones)
- 57. 57 Pregunta... ¿Cuántos tenéis experiencia con AWS? @nieves_as @carlos_munoz
- 63. 63 DM TTS ASR RG NLU context attr: history session DB f(x) Alexa Skills Kit AWS Lambda @nieves_as @carlos_munoz Creando una Skill para Alexa
- 65. 65 Entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 66. 66 Entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 67. 67 Entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 68. 68 Entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 71. 71 Nuestra Lambda > Endpoint ARN @nieves_as @carlos_munoz
- 72. 72 Generar código automáticamente (DM) @nieves_as @carlos_munoz
- 73. 73 Generar código automáticamente (DM) @nieves_as @carlos_munoz
- 74. 74 SDK para el DM @nieves_as @carlos_munoz
- 75. 75 SDK para el DM @nieves_as @carlos_munoz
- 76. 76 Simulando y testeando en la web @nieves_as @carlos_munoz
- 77. 77 Tests y más tests @nieves_as @carlos_munoz
- 78. 78 DM TTS ASR RG NLU context attr: history session DB f(x) @nieves_as @carlos_munoz Creando una Action para Google
- 80. 80 Entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 81. 81 Conectar con el fulfillment (DM) @nieves_as @carlos_munoz
- 82. 82 Analytics > Uso de la app @nieves_as @carlos_munoz
- 83. 83 Re-entrenar el modelo (NLU) @nieves_as @carlos_munoz
- 86. 86 Y el ingrediente secreto… @nieves_as @carlos_munoz
- 87. 87 Y el ingrediente secreto… @nieves_as @carlos_munoz
- 88. 88 ¡La personalidad! TTS DM ASR RG NLU f(x) DB REGLAS de comportamiento Patrones de respuesta Tono del audio SSML @nieves_as @carlos_munoz
- 89. 89 TTS con SSML en Google Action ¡La personalidad!
- 90. 90 TTS con SSML en Alexa AWS Polly ¡La personalidad!
- 92. 92 @nieves_as @carlos_munoz Se abre un mundo nuevo con infinidad de aplicaciones… ¿Construimos algo juntos?
- 93. 93
- 94. 94 ¡Gracias! ¿Preguntas? Contacto: hello@monoceros.xyz Carlos Muñoz-Romero twitter: @carlos_munoz linkedin: /in/carlosmunozromero Nieves Ábalos twitter: @nieves_as linkedin: /in/nievesabalosserrano
- 95. 95