O hardware do incrível Xbox Kinect ganhou uma comunidade aberta e entusiasmada e suas interfaces gestuais com Software Livre são a sensação do brinquedo. Uma atividade que inclui informações sobre o funcionamento do driver e comparações de características com outros frameworks. Conheça e faça parte dessa divertida empreitada! Oficineiro: Gustavo Jordan Coordenador do FliSol Salto, ex-aluno do Hackerteen (4Linux), trabalhou no MercadoLivre.com na plataforma e-commerce anti-fraude, colaborador e membro do GUD-SP (Grupo de Usuários Debian do estado de São Paulo), pesquisador e bolsista do CNPq na área de Realidade Virtual e interação de usuário, graduando em Análise e Desenvolvimento de Sistemas no IFSP (Instituto Federal de São Paulo), atualmente trabalha como pesquisador e engenheiro de Software na Corollarium Technologies, empresa de Realidade Virtual.

3. Ex-Coordenador Geral do FliSol Salto – SP (2 anos)

4. Mercado Livre na área de p revenção a Fraude.

5. Colaborador d o projeto Debian GNU/Linux

6. Membro do GUD SP – planeta.debian-sp.org

7. Hackerteen da 4Linux

9. Evolução dos dispositivos de games

10. O que é Kinect?

11. - Como funciona o Kinect?

12. - Possibilidades

13. Desenvolvimento livre

14. - Middlewares e frameworks

15. - Samples e Produtos Corollarium+Kinect

16. -Comparações de frameworks

17. - Inserção de comandos por texto - Comandos numerosos e compostos - Devem ser decorados pelo utilizador - Curva de aprendizagem e adaptação maior CLI(Command-Line Interface)

18. Dispositivo de entrada

19. Imagem: Google Imagens http://www.google.com.br/imghp - Mouse http://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/JauntyGUI.png/800px-JauntyGUI.png - JauntyGUI - Janelas, botões, menus, caixas de opção, caixas de seleção e ícones. - Controle artificial cuja operação tem de ser aprendida por meio de botões Interface Gráfica de Usuário

20. Dispositivos de entrada

23. Simples e natural

24. Controle de interface por detecção de gestos

26. Sensores de movimento (acelerometros)

27. Câmeras de profundidade (3D)

28. Sensores de áudio Dispositivos

29. Imagens: Google Imagens http://www.google.com.br/imghp Dispositivos

30. Evolução das interfaces de usuário interface de linha de comando interface gráfica de usuário Interface natural de usuário

31. Consoles e NUI

32. Vídeo da evolução dos dispositivos de controle para consoles http://vimeo.com/18743950 - History of Gaming - by Florian Smolka

33. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1 O dispositivo Kinect

36. A câmera IR detecta partes refletidas do padrão de pontos e converte suas intensidades em distâncias.

37. Cada quadro gerado pelo sensor de profundidade está em resolução VGA (320 × 240 pixels), contendo valores de 11 bits de profundidade que oferece 2048 níveis de sensibilidade. O fluxo de saída é executado em 30 quadros por segundo Profundidade

39. A matriz de áudio consiste de quatro microfones, com cada canal de processamento de áudio de 16 bits a uma taxa de amostragem de 16 kHz. O hardware inclui a supressão de ruído ambiente. Áudio e RGB

41. É necessário conectar o dispositivo na porta USB do PC e em uma fonte de alimentação separada para o Kinect para funcionar corretamente. Energia

42. Câmera RGB 640x480 - (Polarização em software de 1200x600) - VNA38209015 IR CMOS 320x240 - OG12 / 0956 / D306 / JG05A IR Projetor - Diodo laser de 830 nm - OG12 / 0956 / D306 / JG05A LED http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1

43. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1

44. PrimeSense PS1080-A2 - SoC image sensor processor The PrimeSensor™ Reference Design - http://www.primesense.com/?p=514

46. O “Kinect” da ASUS para o “PC” http://event.asus.com/wavi/ http://us.estore.asus.com/index.php?l=product_detail&p=3397

47. Brasil ≈ R$500* EUA = $$129.99 Consulta data 26/01/2012 EUA = $$149.00 EUA ≈ $200.00 EUA = $199.00

49. Realidade virtual

50. Vigilância

51. Educação (fisioterapia etc..)

52. Captura de movimento de pessoas ou objetos

53. Rastreamento

56. OpenKinect é uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect em computadores e outros dispositivos criando bibliotecas livres para que o Kinect seja utilizada em diferentes plataformas • O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC • Héctor Martin liberou o código da libfreenect no Github • Primeiro commit em 10 Novembro de 2010 • 17 de dezembro já foi implementado libfreenect plataforma win32 Código fonte disponível em: https://github.com/OpenKinect/libfreenect Google Groups: OpenKinect #openkinect - Freenode

59. Motor (posição de orientação vertical)

60. Acelerômetro

61. LED de status

62. Áudio (mas não implementado)

63. Wrappers (C#, C++ , Python, Java , AS3) Suporte nas plataformas Windows, GNU/Linux e Mac OS X libfreenect

65. Surgiu um mês depois da libfreenect ser lançada em 09 de dezembro 2010

66. Lança seus drivers do PrimeSensor em (LGPLv3+)

67. Lança sua OpenNI framework (LGPLv3+

68. Surgi fork do PrimeSensor driver API para o Kinect (SensorKinect by Avin2)

69. Promove iniciativas, sem fins lucrativos de utilização da NUI Google Groups: OpenNI

71. Suporte detecção do Esqueleto Z do Kinect Y Pontos do esqueleto (x,y,z) http://www.openclipart.org/people/harmonic/Vitruvian_Man.svg

72. Diferenças entre os Frameworks*

73. Frameworks OpenKinect OpenNI Microsoft Kinect SDK Beta Licença LGPLv3+ LGPLv3+ Proprietária e não uso comercial Driver (módulo) libfreenect SensorKinect Avin2 / CL NUI * Windows,GNU/Linux e Mac OSX Sim Sim Não Suporte para câmeras referência da PrimeSense Não Sim Não Uso de vários Kinects Sim Sim Sim Câmera RGB Sim Sim Sim Câmera Infravermelho Sim Sim Sim Projetor Infravermelho Sim sim Sim LED Sim Sim Não Motor vertical Sim Não Sim Áudio Implementado (não default) Não Sim Detecção de gestos Exemplo de uso OpenCV que possui módulos de processamento de imagem. NITE Middleware (Baseado em OpenCV) * Detecção do Esqueleto Não Sim Sim Detecção da Mão (Click, movimento e circulo) Não Sim Não Analisador de Cenas Não Sim Não

74. Demonstrações OpenNI e OpenKinect e videos de produtos Corollarium

75. TuxSinbad (OpenNI+Ogre) https://github.com/ttair/TuxSinbad

77. https://github.com/OpenKinect/libfreenect - libfreenect

78. http://openkinect.org - OpenKinect. is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac

79. http://www.primesense.com - PrimeSense. “PrimeSense has delivered an important component to the technology, helping us deliver revolutionary controller-free entertainment experiences”

80. http://opencv.willowgarage.com/wiki/ - OpenCV

81. http://www.primesense.com/?p=514 - PrimeSense Reference Design

82. http://event.asus.com/wavi/ - WAVI Xtion. Intuitive living room experience

83. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/ - Microsoft Kinect Teardown

84. http://www.xbox.com/pt-br/kinect -Microsoft Kinect for Xbox360.

85. http://www.hitl.washington.edu/artoolkit/ - ARToolKit

86. http://en.wikipedia.org/wiki/Natural_User_Interface - Natural user interface

87. http://bit.ly/i045ty - RGBDemo 0.5.0: Improved scene reconstruction

88. Perguntas? Twitter: @gustavojordan Identi.ca: !gustavojordan Planeta Debian-SP : planeta.debian-sp.org softwarelivre.org/jordan Site/Blog: http://jordan.debian.net [email_address]