O documento descreve o LoCoBoard, um quadro interativo de baixo custo que usa algoritmos de visão computacional. Resume os objetivos de desenvolver um quadro acessível, a arquitetura que captura vídeo e detecta pontos de interação, e cinco algoritmos testados para detecção de pontos.

1. LoCoBoard:
Quadro Interactivo de Baixo Custo Recorrendo a
Algoritmos de Visão por Computdor
Christophe Soares
Orientadores:
Rui S. Moreira | José M. Torres
Porto, 18 de Dezembro 2009

2. Sumário
Introdução
Contexto
Objectivos
Vídeo
Arquitectura
Algoritmos
Avaliações
Conclusões

3. Introdução
“Na era digital, a adopção de interfaces naturais
entre o Homem e a máquina torna-se cada vez
mais pertinente.
Fala, gestos e escrita manual serão parte
integrante da interacção com os computadores,
televisões e telemóveis”

4. Contexto
Na educação, em particular, a utilização de
ferramentas interactivas, pretende:
• Melhorar as práticas pedagógicas,
• Auxiliar a compreensão de conceitos
complexos,
• Permitir o trabalho colaborativo

5. Contexto
• Vasta panóplia de soluções comerciais
• Custo associado é geralmente elevado
• Difícil equipar de forma generalizada
estabelecimentos de ensino

6. Objectivos
Desenvolver um Quadro Interactivo de código
aberto e de baixo custo
• Algoritmo de detecção PI são fundamentais à sua
implementação
Fundamental requisitos hardware minimalistas, i.e.,
• Computador com webcam
• Videoprojector
• Apontador IR
Facilitar o uso e a massificação do Quadro
Interactivo

7. Vídeo (1)
(1) [http://tiny.cc/christophesoares]

9. Arquitectura
CAPTURA SINAL DE PRÉ-PROCESSAMENTO
VIDEO DA FRAME
REPORTAR AS DETECÇÃO E
COORDENADAS TRACKING DE BLOBS

10. Arquitectura
OPENCV
CAPTURA SINAL DE PRÉ-PROCESSAMENTO
VIDEO DA FRAME
REPORTAR AS DETECÇÃO E
COORDENADAS TRACKING DE BLOBS

11. Arquitectura
OPENCV
CAPTURA SINAL DE PRÉ-PROCESSAMENTO
VIDEO DA FRAME
REPORTAR AS DETECÇÃO E
COORDENADAS TRACKING DE BLOBS
ALGORITMOS

12. Arquitectura
OPENCV
CAPTURA SINAL DE PRÉ-PROCESSAMENTO
VIDEO DA FRAME
REPORTAR AS DETECÇÃO E
COORDENADAS TRACKING DE BLOBS
TUIO / QT ALGORITMOS

13. Algo!tmos

14. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

15. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

16. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

17. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

18. Varrimento linear

19. Varrimento linear

20. Varrimento linear

21. Varrimento linear

22. Varrimento linear

23. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

24. Varrimento linear com
salto

25. Varrimento linear com
salto

26. Varrimento linear com
salto

27. Varrimento linear com
salto

28. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

29. 1º Passo

30. 1º Passo

31. 2º Passo - Centróide

32. 2º Passo - Centróide

33. 2º Passo - Centróide

34. 2º Passo - Centróide

35. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 adaptado a Multi-Ponto
linear
grupos

36. Previsão e Espiral

37. Previsão e Espiral

38. Previsão e Espiral

39. Previsão e Espiral

40. Previsão e Espiral

41. Previsão e Espiral

42. Previsão e Espiral

43. Centróide

44. Centróide

45. Centróide

46. Centróide

47. Processamento Quantidade
Algoritmos Detecção do PI
do Centróide de PI
Varrimento Sistema de
A1 PI Único
linear Médias
Varrimento Sistema de
A2 PI Único
linear com salto Médias
Varrimento
A3 Sistema em cruz PI Único
linear com salto
Varrimento em
espiral
A4 Sistema em cruz PI Único
conjugado com
A3
Sistema
Varrimento
A5 (2) adaptado a Multi-Ponto
linear
grupos
(2) [http://geekblog.nl/entry/24]

48. Reconhecimento de PI

49. Reconhecimento de PI

50. Reconhecimento de PI

51. Reconhecimento de PI

52. Constituição de grupos e
seus centróides

53. Constituição de grupos e
seus centróides

54. Avaliações
Criamos seis vídeos com o intuito de obter um
ambiente heterogéneo com as seguintes
particularidades:
• Três tipos de acções - cliques, movimentos
e uma combinação de ambos;
• Dois ambientes - com e sem ruído.

55. Avaliações
Desempenho Precisão
Algoritmos Varrimento
Linear Total (A1,A5) * ***
Algoritmos Varrimento
com Salto Total (A2) ** **
Algoritmos Varrimento
Linear com Salto (A3) *** *
Melhor ***
Médio **
Pior *

56. Avaliações
Desempenho
<S >S
A3
* ***
<N >N
A4
*** *
Melhor ***
Médio **
Pior *

57. Avaliações
CCV (Tbeta) LoCoBoard
Consumo Médio
68.3 % 32.1 %
do CPU

58. Conclusão
• O s o b j e c t i vo s f o r a m t o t a l m e n t e
cumpridos.
• Esta aplicação é uma solução simples,
económica e eficiente.
• As avaliações permitiram-nos identificar os
algoritmos com maiores potencialidades.

59. Conclusão
Trabalho futuro:
• Comutação automática do algoritmo
detecção;
• Variantes na detecção de mancha -
cálculo centróide;
• Desenvolver o multi-toque.

60. NUI Group