Recomendados
Recomendados
Más contenido relacionado
Similar a Colombia Cloud Bootcamp - IA y Accesibilidad Pronunciation Assessment.pptx
Similar a Colombia Cloud Bootcamp - IA y Accesibilidad Pronunciation Assessment.pptx (20)
Más de Luis775803
Más de Luis775803 (20)
Último
Último (19)
Colombia Cloud Bootcamp - IA y Accesibilidad Pronunciation Assessment.pptx
- 1. Cloud Bootcamp 2022 Colombia Tecnología, tradición, y cultura. Julio 8-9, 2022
- 2. #LiveFromColombia @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia IA y Accesibilidad: Mejorando la fluidez de lectura con Pronunciation Assessment Luis Beltrán Microsoft MVP
- 3. • Microsoft MVP en AI y Developer Technologies • Investigador en Tomás Bata University in Zlín • Docente en Tecnológico Nacional de México en Celaya Luis Beltrán @darkicebeam luis@luisbeltran.mx luisbeltran.mx
- 5. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Comencemos con un par de historias…
- 6. Situación #1
- 12. Situación #2
- 17. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia ¿Cómo resolver ambos problemas por medio de Inteligencia Artificial?
- 27. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Aspectos Técnicos
- 47. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Demo 1 – Probando Pronunciation Assessment
- 51. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Desarrollando una app con Pronunciation Assessment
- 54. Puede obtener puntajes de evaluación de pronunciación para: • Texto completo • Palabras • Grupos de sílabas • Fonemas en formato SAPI o IPA
- 65. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Demo 2 – Pronunciation Assessment en una aplicación móvil
- 66. Aplicación móvil (Xamarin + Pronunciation Assessment) https://github.com/icebeam7/FluentSpea
- 67. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Casos de éxito
- 68. Pearson’s Longman English learning app
- 77. Reading Progress en Microsoft Teams
- 79. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Limitaciones
- 80. • Pronunciation Assessment funciona mejor con una entrada de audio de mayor calidad. Recomendamos una calidad de entrada de 16 kHz o superior. • La calidad de Pronunciation Assessment también se ve afectada por la distancia del orador del micrófono. Las grabaciones deben hacerse con el altavoz cerca del micrófono, y no a través de una conexión remota. • Pronunciation Assessment no admite un escenario de evaluación lingüística mixta. • Pronunciation Assessment admite el idioma en-US y otros idiomas en versión preliminar. Limitaciones de Pronunciation Assessment
- 81. • Pronunciation Assessment no admite un escenario de evaluación de varios hablantes. El audio debe incluir solo un orador para cada evaluación. • Pronunciation Assessment compara el audio enviado con hablantes nativos en condiciones generales. El hablante debe mantener una velocidad y un volumen de habla normales, y evitar gritar o levantar la voz. • Pronunciation Assessment funciona mejor en un entorno con poco ruido de fondo. Los modelos actuales de voz a texto se adaptan al ruido en condiciones generales. Limitaciones de Pronunciation Assessment
- 82. • Antes de usar Pronunciation Assessment en sus aplicaciones, considere si este producto funciona bien en su escenario. Recopile datos de la vida real del escenario de destino, pruebe el rendimiento de la evaluación de pronunciación y asegúrese de que la evaluación de voz a texto y pronunciación pueda ofrecer la precisión que necesita. • Seleccione los umbrales adecuados según el escenario de destino. Pronunciation Assessment proporciona puntajes de precisión en diferentes niveles y es posible que deba considerar el umbral empleado en el uso real. Por ejemplo, el método de calificación para el aprendizaje de los niños podría no ser tan estricto como el del aprendizaje de adultos. Limitaciones de Pronunciation Assessment
- 83. @VirtualDEVShow Cloud Bootcamp Colombia 2022 #CloudBootcampColombia #LiveFromColombia Para aprender más
- 85. Q & A
- 86. ¡Gracias por tu atención! About Me: https://about.me/luis-beltran
- 87. Cloud Bootcamp 2022 Colombia Tecnología, tradición, y cultura. Julio 8-9, 2022
Notas del editor
- Practicar la pronunciación y obtener retroalimentación oportuna son esenciales para mejorar las habilidades lingüísticas. La evaluación es impulsada convencionalmente por maestros experimentados, lo que normalmente lleva mucho tiempo y grandes esfuerzos, y esto hace que la evaluación de alta calidad sea costosa para los estudiantes. En esta sesión veremos cómo podemos hacer uso de la inteligencia artificial para crear una solución tecnológica de apoyo a los estudiantes en el aprendizaje de otra lengua de forma práctica y con retroalimentación objetiva en tiempo real.
- El servicio Azure Speech de Microsoft proporciona capacidades de traducción de voz a texto, de texto a voz y de voz a los desarrolladores. En Build 2020, Microsoft anunció varias nuevas capacidades en versión preliminar, entre ellas Pronunciation Assessment que puede evaluar la pronunciación del habla y ofrecer a los oradores comentarios sobre la precisión y fluidez del audio hablado. Microsoft está utilizando este servicio para su característica PowerPoint Presenter Coach.
- Para los estudiantes de idiomas, practicar la pronunciación y obtener comentarios oportunos son esenciales para mejorar las habilidades lingüísticas. La evaluación es impulsada convencionalmente por maestros experimentados, lo que normalmente lleva mucho tiempo y grandes esfuerzos, lo que hace que la evaluación de alta calidad sea costosa para los estudiantes.
- Pronunciation Assessment, una novedosa capacidad de habla impulsada por IA, es capaz de hacer que la evaluación del lenguaje sea más atractiva y accesible para los estudiantes de todos los orígenes.
- Pronunciation Assessment, una característica de Speech en Azure Cognitive Services, proporciona comentarios subjetivos y objetivos a los estudiantes de idiomas con tecnología asistida por computadora.
- Con Pronunciation Assessment, los estudiantes de idiomas pueden practicar, obtener retroalimentación instantánea y mejorar su pronunciación. Los proveedores de soluciones de aprendizaje en línea o los educadores pueden usar la capacidad de evaluar la pronunciación de múltiples hablantes en tiempo real. Pronunciation Assessment proporciona varios resultados de evaluación en diferentes granularidades, desde fonemas individuales hasta la entrada de texto completa. A nivel de fonema, proporciona puntajes de precisión de cada fonema, ayudando a los estudiantes a comprender mejor los detalles de pronunciación de su discurso. A nivel de palabra, puede detectar automáticamente errores y proporcionar una puntuación de precisión simultáneamente, lo que proporciona información más detallada sobre la omisión, la repetición, las inserciones y la pronunciación incorrecta en el discurso dado. A nivel de texto completo, ofrece puntajes adicionales de fluidez e integridad: la fluidez indica qué tan cerca coincide el discurso con el uso de un hablante nativo de pausas silenciosas entre palabras, y la integridad indica cuántas palabras se pronuncian en el discurso a la entrada de texto de referencia.
- A continuación, se proporciona una puntuación general agregada de Precisión, Fluidez e Integridad para indicar la calidad general de pronunciación del discurso dado. Con estas características, los alumnos pueden conocer fácilmente la debilidad de su habla y mejorar con los objetivos objetivo.
- Puede obtener puntajes de evaluación de pronunciación para: Texto completo Palabras Grupos de sílabas Fonemas en formato SAPI o IPA
- https://github.com/icebeam7/FluentSpeaker
- Utilizando Pronunciation Assessment, la aplicación Longman English Plus de Pearson permite tanto a los estudiantes como a los profesores mejorar la productividad en el aprendizaje de idiomas, con una función de prueba de pronunciación personalizada para estudiantes de diferentes niveles. Como empresa de educación líder en el mundo, Pearson permite a decenas de millones de estudiantes cada año maximizar su éxito. Las capacidades clave de voz de Microsoft Azure utilizadas en Longman English Plus son: Pronunciation Assessment, procesamiento de lenguaje natural y Neural Text-to-Speech.
- BYJU'S elige el servicio Speech en Azure para compilar la aplicación de idioma inglés (ELA) para sus geografías de destino donde el inglés se usa como idioma secundario y se considera una habilidad esencial para adquirir. La aplicación combina lo mejor de la pedagogía utilizando tecnología del habla de vanguardia para ayudar a los niños a dominar el lenguaje con facilidad en un entorno de aprendizaje sin juicios. Con una interfaz que prioriza la conversación, esta aplicación permite a los estudiantes aprender y practicar inglés mientras trabajan en sus habilidades lingüísticas de una manera divertida, atractiva y efectiva.
- …BYJU'S está utilizando las capacidades de evaluación de voz a texto y pronunciación para garantizar que los niños dominen el inglés con facilidad, para practicar el habla y recibir comentarios sobre la pronunciación con fonema, pronunciación a nivel de palabra y oración y puntajes de fluidez. ELA de BYJU evalúa la pronunciación de los estudiantes a través de juegos de habla, identifica áreas de mejora y proporciona lecciones personalizadas y adaptables para ayudar a los estudiantes a mejorar en sus áreas débiles.
- La detección y diagnóstico de pronunciación errónea (MDD) es la técnica central empleada en la Pronunciation Assessment, que califica la precisión de la pronunciación a nivel de palabra, que proporciona un juicio sobre los errores y contribuye a la evaluación general. Para proporcionar resultados precisos y consistentes, Pronunciation Assessment emplea las últimas redes neuronales potentes para el modelado, explotando la información desde una granularidad de senona más baja hasta una granularidad de palabras más alta con el uso de arquitectura jerárquica. Este diseño permite a Pronunciation Assessment explotar al máximo la información detallada de pronunciación de patrones pequeños, lo que hace que la detección de pronunciación incorrecta sea más precisa y robusta. Con más de 100,000 horas de datos de entrenamiento sobre diferentes acentos, regiones y edades, Pronunciation Assessment también puede manejar diferentes escenarios con varios usuarios, por ejemplo, desde niños hasta adultos, desde hablantes no nativos hasta hablantes nativos, y proporcionar un rendimiento de evaluación confiable y consistente.
- Teams Reading Progress utiliza la evaluación de pronunciación para ayudar a los estudiantes a mejorar la fluidez de lectura, después de que la pandemia afectara negativamente la capacidad de lectura de los estudiantes. Se puede usar dentro y fuera del aula para ahorrar tiempo a los maestros y mejorar los resultados de aprendizaje para los estudiantes.
- El rendimiento de Pronunciation Assessment depende de la precisión de la transcripción de voz a texto de Azure Cognitive Services con el uso de una transcripción enviada como referencia y el acuerdo entre evaluadores entre el sistema y los jueces humanos. Las siguientes secciones están diseñadas para ayudarle a comprender los conceptos clave sobre la precisión que se aplican al uso de la evaluación de la pronunciación.
- Pronunciation Assessment funciona mejor en un entorno con poco ruido de fondo. Los modelos actuales de voz a texto se adaptan al ruido en condiciones generales. Los entornos ruidosos o varias personas que hablan al mismo tiempo pueden conducir a una menor confianza en la evaluación. Para manejar mejor los casos difíciles, puede sugerir que el hablante repita una pronunciación si puntúa por debajo de un cierto umbral.
- Considere la posibilidad de establecer un umbral de detección de pronunciación incorrecta más alto para el aprendizaje de adultos. https://docs.microsoft.com/en-us/legal/cognitive-services/speech-service/pronunciation-assessment/characteristics-and-limitations-pronunciation-assessment