Interfaces Multimodais Inteligentes

Sumário
Aplicação de Técnicas de Língua Natural
a Interfaces Multimodais Inteligentes
• Introdução
• Língua Natural Falada e Escrita
• Interfaces Homem–Máquina
• Manipulação Directa de Objectos
• Detecção de Gestos
• Multimodalidade
• A ideia inicial: “Put that there!”
• Estado da Arte (alguns trabalhos)
• Avaliação e o “Place it here!”
29/06/2001 Joana Lúcio Paulo 2


29/06/2001
Introdução

Joana Lúcio Paulo
3

Introdução
• Quando os humanos conversam uns com
o outros utilizam vários canais de
comunicação:
–  Linguagem falada
–  Linguagem escrita
–  Gestos
–  Olhar
–  Expressão Facial
–  Entoação
• Cada um desses canais fornece diferentes
percepções e a sua combinação não é
igual à sua soma.

Ideia subjacente

• Porque não enriquecer e facilitar a
comunicação entre as pessoas e os
computadores recorrendo a um método
semelhante?
• Isso tornaria o processo de comunicação
mais transparente, flexível, eficiente,
poderoso e expressivo.
• Poderia alargar o espectro dos utilizadores
de sistemas informáticos que,
actualmente, é um pouco limitado,



29/06/2001
queríamos...

Joana Lúcio Paulo
O Futuro... aquilo que

6


29/06/2001
Joana Lúcio Paulo
7
Língua Natural Falada e Escrita

Língua Natural Falada

• Reconhecimento:

• Síntese:


Problemas na Modulação

• Homem / Mulher
• Treino
• Adulto / Criança
–  Um Utilizador
• Dialéctica
–  Vários Utilizadores
• Pronúncia
• Barulho
–  Ruído ambiente –  Regiões
–  Línguas
–  Pigarrear
–  Suspiros • Velocidade
–  Interjeições • Sintaxe
• Entoação • Contexto



29/06/2001
Joana Lúcio Paulo
Arquitectura “Típica”

10


29/06/2001
Joana Lúcio Paulo
Interfaces Homem–Máquina

11

Interfaces Homem–Máquina

•  Compreender como é que os seres humanos
pensam, aprendem e comunicam
•  Modelar os utilizadores à semelhança de um
computador e tirar conclusões a partir daí
•  Conceber um ser humano em termos de
estrutura de memória, unidades de entrada e
saída e de processamento


29/06/2001
Objectos

Joana Lúcio Paulo
Manipulação Directa de

13

Sistemas de Manipulação
Directa

•  Técnica onde os
objectos visíveis no
ecrã são directa-
mente manipulados
com um dispositivo
que permite apontar
•  Exemplos:
–  Rato
–  Caneta de luz
–  Sistemas de detecção
de posição da mão



29/06/2001
Joana Lúcio Paulo
Detecção de Gestos

15


29/06/2001
Joana Lúcio Paulo
Detecção de Gestos

16


29/06/2001
Joana Lúcio Paulo
Multimodalidade

17

Multimodalidade
•  “modalidades” utiliza-
das pelas pessoas:
–  Visão
–  Audição
–  Tacto
–  Olfacto
–  Paladar
•  Vários canais de co-
municação (sentidos)
•  Liberdade para combi-
nar as modalidades
•  Possibilidade de alter-
nar entre as várias
modalidades disponí-
veis

Vantagens
•  Acomodam mais
•  Tarefas visuais espa-
facilmente utilizadores ciais que usam multi-
com deficiências, modalidade de caneta
variações de ambiente e voz
e a mobilidade do
–  São 10% mais rápidas
utilizador
–  Têm menos 36% de
•  Previne o uso exces- erros e menos 50% de
sivo de uma deter- enganos de dislexia
minada modalidade –  São mais precisas e
minimizando os mais ricas (gestos)
malefícios provocados
–  permitem construções
pelo seu uso contínuo linguísticas
e prolongado durante •  mais simples e curtas
uma determinada •  que exigem menos
tarefa descrições posicionais


Vantagens
•  os utilizadores esco- •  os utilizadores tendem
lhem a modalidade a mudar de modali-
que lhes parece dade de cada vez que
cometer menos erros tentam fazer uma
para cada tarefa e tarefa e cometem um
para cada ambiente erro o que facilita a
recuperação de erros
•  linguagem de coman-
•  a frustração subjectiva
dos é mais simples e
mais expressiva é menor quando há
erros e a interface é
–  reduz a complexidade
multimodal
do processamento de
língua natural: maior
•  Suporta desambigua-
de eficiência
ção mútua devido à
–  reduz os erros feitos no
redundância
reconhecimento de fala
–  Robustez e estabilidade


Vantagens

• 90 a 100% dos utilizadores preferem
este tipo de interface

• Há mais utilizadores a querer e a
poder usá-los em mais situações e
em mais ambientes de formas mais
variadas



29/06/2001
Joana Lúcio Paulo
A Ideia Inicial: “Put that there!”

22

O “Put that there!”
“faz uma mesa!”
(E aparece uma mesa de
madeira no meio do chão)
“em cima da mesa põe
um vaso!” (e faz um gesto
usando os pulsos para explicar
que quer o vaso em cima da
mesa que acabou de criar - o
vaso aparece no sítio certo)
“perto da mesa põe “vê a cena a partir
uma cadeira!” (e a desta
cadeira aparece ao lado da
direcção” (enquanto que
mesa)
aponta como uma mão
“Roda-a desta
através da outra, a cena
maneira” (enquanto que
roda até acertar com a
com as mãos faz a mesa rodar
direcção das mãos)
à volta da mesa)


29/06/2001
Joana Lúcio Paulo
Arquitectura Inicial

24


29/06/2001
Facilitator

Joana Lúcio Paulo
25


29/06/2001
Joana Lúcio Paulo
(Members-Teams Committee)
Arquitectura MTC

26


29/06/2001
trabalhos)

Joana Lúcio Paulo
Estado da Arte (alguns

27

OGI’s QuickSet Multimodal
System
•  baseado em agentes e na
arquitectura MTC
•  permite criar entidades de
posição num mapa
recorrendo a comandos de
fala, de gestos e
manipulação directa.

•  simulação.
•  criar identidades
–  dizendo o seu nome
–  as suas características
–  enquanto indica a sua
localização e forma
–  “medical company facing
this way” (seta)

Human-Centric Word Processor
Combina o reconhecimento
de fala com a compreensão
de língua natural com um
sistema de reconhecimento
de gestos baseado em cane-
tas que seleccionam e apon-
tam para objectos, criando
um sistema de processa-
mento de texto multimodal.
Foi desenhado para resolver “Apaga esta palavra
um dos maiores problemas aqui!” <apontando para
de usabilidade dos sistemas a palavra>
normais de ditado: a
“Sublinha daqui até
necessidade de corrigir,
aqui!” <apontando para
manipular e formatar o texto
de uma forma simples e fácil o início e o fim do texto a
depois de ter sido ditado. sublinhar>

Boeing’s VR Aircraft Maintenance
Training

•  É usado na manutenção:
–  novos modelos de aviões
–  treino dos mecânicos



29/06/2001
Training

Joana Lúcio Paulo
Boeing’s VR Aircraft Maintenance

31


29/06/2001
Joana Lúcio Paulo
Avaliação e o “Place it here!”

32

Avaliação

• Vantagens:
–  O reconhecimento de gestos não é tão
eficiente como o reconhecimento de fala
–  O vocabulário falado tem mais interpretações
que um gesto
–  Gestos e comandos de fala complementam-se
–  Os ambientes gráficos de manipulação de
objectos são os que se adequam melhor a este
tipo de interface


Avaliação
• Desvantagens:
–  Os gestos têm pouca relação com as
operações
–  Os comandos têm que ser introduzidos
sequencialmente
–  Operações anteriores não podem ser referidas
–  Os utilizadores seguem uma ordem arbitrária
na introdução dos comandos
–  Há poucos sistemas “livres” disponíveis para o
público em geral
–  Falta explorar melhor outras combinações de
modalidades (não apenas gestos e fala)


“Place it here!”
•  Projecto conjunto das cadeiras de Interfaces
Multimodais Inteligentes e de Complementos de
Visualização
•  Sistema com multimodalidade
–  Reconhece comandos de fala
–  Complementados com manipulação directa (através de
rato)
•  Sistema de desenho e manipulação de objectos
gráficos
•  Enriquecido com um agente de interface que
comunica com o utilizador para lhe pedir
–  Dados adicionais
–  Confirmação de comandos
–  Enriquecimento da descrição dos objectos

Dúvidas?!

Perguntas
Objecções
Clarificações
Interrogações
Interpolações
Contra-Propostas
Observações


Interfaces Multimodais Inteligentes

Recomendados

Recomendados

Más contenido relacionado

Más de Joana Paulo Pardal

Más de Joana Paulo Pardal (6)

Interfaces Multimodais Inteligentes