O documento discute os desafios da pesquisa e desenvolvimento de robôs móveis e veículos autônomos, apresentando experimentos realizados com veículos terrestres no campus da USP para validar técnicas de localização, mapeamento e navegação autônoma utilizando sensores como laser, câmera e GPS.

1. 29/10/2010
1
SBIA 2010
# 1
Desafios da Inteligência Artificial:Desafios da Inteligência Artificial:
Pesquisa e Desenvolvimento de RobôsPesquisa e Desenvolvimento de Robôs
Móveis e Veículos AutônomosMóveis e Veículos Autônomos
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo Branco
Universidade de São Paulo – USP - ICMC
Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRM
INCT – Sistemas Embarcados Críticos
2
Denis F. Wolf Fernando S. Osório Kalinka R. J. Castelo
Branco
Universidade de São Paulo – USP - ICMC
Grupo de Sistemas Embarcados, Evolutivos e Robóticos - SEER
Laboratório de Robótica Móvel - LRM
INCT – Sistemas Embarcados Críticos
Laboratório de Robótica Móvel – ICMC/USP
Desafios da Inteligência Artificial:Desafios da Inteligência Artificial:
Pesquisa e Desenvolvimento dePesquisa e Desenvolvimento de
Robôs Móveis e Veículos AutônomosRobôs Móveis e Veículos Autônomos
Parte II

2. 29/10/2010
2
SBIA 2010
# 3
Localização e Mapeamento em Ambientes Urbanos
Problemas:
• Complexidade
• Escala
• Irregularidade do terreno
• Difícil representação
SBIA 2010
# 4
Plataforma Experimental

3. 29/10/2010
3
SBIA 2010
# 5
Localização – Monte Carlo
Solução:
• Grande número de partículas
• Criação de áreas semi-ocupadas.
• Obtenção de pitch e roll por uma
unidade de medida inercial
• Depois de localizar o robô, estima-se a
trajetória utilizando o filtro de partículas
no sentido contrário.
SBIA 2010
# 6
Localização – Monte Carlo

4. 29/10/2010
4
SBIA 2010
# 7
Localização - Resultados
SBIA 2010
# 8
Localização – Filtro de Partículas e GPS
• Cada partícula representa uma
possível trajetória completa do robô
• É atribuído um peso a cada
partícula de acordo com sua
proximidade do GPS.
• Partículas que divergem do GPS
recebem peso baixo e são
eliminadas.
Pontos do GPS
partículas

5. 29/10/2010
5
SBIA 2010
# 9
Mapeamento - Resultados
SBIA 2010
# 10
Mapeamento - Resultados

6. 29/10/2010
6
SBIA 2010
# 11
Mapeamento - Resultados
Parte do campus da USC
SBIA 2010
# 12
Mapeamento – Aquisição de dados

7. 29/10/2010
7
SBIA 2010
# 13
SBIA 2010
# 14
Projeto: Veículo Autônomo
Objetivo principal:
Desenvolver um sistema de direção autônoma/assistida
para veículos em ambientes urbanos
Objetivos secundários:
• Localização precisa em ambientes urbanos
• Identificação de via de transito utilizando visão computacional
• Mapeamento 3D de terreno utilizando sensor laser
• Planejamento de trajetória em tempo real em ambientes
complexos

8. 29/10/2010
8
SBIA 2010
# 15
Principais motivações:
• Reduzir o número de acidentes rodoviários
• Aumentar a eficiência do transito
• Aumentar a mobilidade de idosos e
portadores de necessidades especiais
Projeto: Veículo Autônomo
SBIA 2010
# 16
Outras aplicações:
• Agricultura
• Segurança e defesa
• Automação do transporte de cargas
Projeto: Veículo Autônomo

9. 29/10/2010
9
SBIA 2010
# 17
• IP addresses and the port numbers of the
components.
Causas de acidentes
SBIA 2010
# 18
Acidentes Rodoviários
18
“According to WHO, road traffic crashes leading cause
of death among young people.”
“Unless more comprehensive global action is taken, the number of
deaths and injuries is likely to rise significantly. Road traffic collisions cost
an estimated US$ 518 billion globally in material, health and other
expenditure.”
“The first global assessment of road safety finds that almost half of the estimated
1.27 million people who die in road traffic crashes every year are pedestrians,
motorcyclists and cyclists. While progress has been made towards protecting
people in cars, the needs of these vulnerable groups of road users are not being
met.”
World Health Organization, 2009

10. 29/10/2010
10
SBIA 2010
# 19
Falhas na sinalização e pouca visibilidade
Lombada
Causas de acidentes
SBIA 2010
# 20
They didn't tell
me this hole
could be so
huge!!
Causas de acidentes
Má conservação das vias

11. 29/10/2010
11
SBIA 2010
# 21
Causas de acidentes
Falta de educação no trânsito
SBIA 2010
# 22
Campanhas do governo

12. 29/10/2010
12
SBIA 2010
# 23
Utilizar apenas GPS?
Condução autônoma: desafios…
Robótica Móvel - Desenvolvimento
Simulação Testes em robôs
de pequeno porte
Testes em robôs
de grande porte

13. 29/10/2010
13
Robótica Móvel - Desenvolvimento
Simulação
Validação inicial dos algoritmos
desenvolvidos utilizando simuladores
de robôs e sensores.
Vantagens:
- Possibilidade irrestrita de experimentos
- Economia de tempo de desenvolvimento
- Evita danos aos robôs e sensores
Robótica Móvel - Desenvolvimento
Testes em robôs de pequeno porte
Validação do sistema em ambientes
reais de escala reduzida.
Vantagens:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Facilita a logística dos experimentos
- Diminui a chance de danos aos robôs e
sensores

14. 29/10/2010
14
Robótica Móvel - Desenvolvimento
Testes em robôs de grande porte
Validação do sistema em ambientes e
situações reais.
Características:
- Ambientes e informações reais para
validação dos sistemas desenvolvidos
- Logística complexa
- Possibilidade de danos aos robôs e sensores
SBIA 2010
# 28
Player
Serial
Canbus
PlayerPlayerPlayerPlayerA imagem não pode ser exibida. Talvez o computador não tenha memória suficiente para abrir a imagem ou talvez ela esteja corrompida. Reinicie o computador e abra o arquivo novamente. Se
ainda assim aparecer o x vermelho, poderá ser necessário excluir a imagem e inseri-la novamente.
Camera
Laser
Sonar
Odometria
Motores
ProgramaProgramaProgramaPrograma
do usuáriodo usuáriodo usuáriodo usuário
Aquisição
de dados
dos sensores
Comandos
para o
motor
PCI
USB
Serial
Planejamento
Deslocamento
desejado

15. 29/10/2010
15
SBIA 2010
# 29
Abstração de hardware
Programa
do usuário
ServidorServidorServidorServidor
PlayerPlayerPlayerPlayer
BibliotecaBibliotecaBibliotecaBiblioteca
Cliente doCliente doCliente doCliente do
PlayerPlayerPlayerPlayer
C/C++
C#
Java
Tcl
Python
Ruby
Lisp
Octave
Simulador
Robô
Pioneer
Veículo
ServidorServidorServidorServidor
PlayerPlayerPlayerPlayer
ServidorServidorServidorServidor
PlayerPlayerPlayerPlayer
Gazebo - Simulação 3D
Robô Pioneer 3 AT

16. 29/10/2010
16
Gazebo - Simulação 3D
Veículo de testes
Gazebo - Simulação 3D
Veículo e ambiente de testes

17. 29/10/2010
17
SBIA 2010
# 33
Percepção Planejamento Atuação
Notificação
do condutor
Sistema de condução
autônoma / assistida
SBIA 2010
# 34
• Identificação de via utilizando visão computacional
• Identificação de via/obstáculos utilizando sensor laser
• Estimação da posição do veículo utilizando fusão de sensores
(GPS, IMU, Compass, Odometer)
Sistema de condução
autônoma / assistida
Percepção Planejamento Atuação
Notificação
do condutor

18. 29/10/2010
18
SBIA 2010
# 35
• Planejamento de trajetória
• Desvio de obstáculos
Sistema de condução
autônoma / assistida
PlanejamentoPercepção Atuação
Notificação
do condutor
SBIA 2010
# 36
• Controle de velocidade
• Controle de esterçamento
Sistema de condução
autônoma / assistida
AtuaçãoPercepção Planejamento
Notificação
do condutor

19. 29/10/2010
19
SBIA 2010
# 37
• Presença de obstáculos
e depressões
• Risco de colisão
• Indicação de via de trânsito
• Sugestão Esterçamento / Freio
Sistema de condução
autônoma / assistida
Notificação
do condutor
Percepção Planejamento Atuação
SBIA 2010
# 38
Plataformas Robóticas Utilizadas

20. 29/10/2010
20
SBIA 2010
# 39
Robô Pioneer 3 AT
Sensor laser
GPS, IMU, e
Bússola
Câmera
SBIA 2010
# 40
Sensores laser
Câmera
GPS, IMU, e
Bússola
Processamento
das informações
Veículo de testes

21. 29/10/2010
21
SBIA 2010
# 41
Veículo Elétrico
Sensores laser
Câmera
GPS, IMU, e Bússola
Sensores
SBIA 2010
# 42
Veículo Elétrico
Motor DC
Atuadores: Esterçamento
Encoder
Controlador
Acoplamento

22. 29/10/2010
22
SBIA 2010
# 43
Veículo Elétrico
SBIA 2010
# 44
Veículo Elétrico
Atuadores: Aceleração
Acelerador
Encoder
(Odometria)

23. 29/10/2010
23
SBIA 2010
# 45
Identificação e desvio de obstáculos
Experimentos iniciais – março de 2009
Sistema de condução
autônoma / assistida
SBIA 2010
# 46
Posição do veículo
Trajetória planejada
Obstáculos
Dados do laser
Dados da câmera
Sistema de condução
autônoma / assistida

24. 29/10/2010
24
SBIA 2010
# 47
Sistema de condução
autônoma / assistida
SBIA 2010
# 48
Detecção de obstáculos e notificação
Testes experimentais – Outubro de 2009
Sistema de condução
autônoma / assistida

25. 29/10/2010
25
SBIA 2010
# 49
Mapeamento de terreno usando laser
z
x
H
lz
d
10°
o
D
SBIA 2010
# 50
Mapeamento de terreno usando laser

26. 29/10/2010
26
SBIA 2010
# 51
Mapeamento de terreno usando laser
SBIA 2010
# 52
Mapeamento em grid
Desvantagens dos mapas 3D:
• Grande quantidade de dados
• Requer alta capacidade computacional
• Dados esparsos
Solução proposta:
• Mapa de navegabilidade 2D

27. 29/10/2010
27
SBIA 2010
# 53
Mapa de Navegabilidade
Utilizando Redes Neurais para a
Classificação do Terreno
• Altitude Relativa
•Altitude Absoluta
Input
• Navegável
• Parcialmente
Navegável
• Não Navegável
Output
Multilayer
Perceptron
Multilayer
Perceptron
SBIA 2010
# 54
IP addresses and the port numbers of the
components.
Mapeamento de terreno usando laser

28. 29/10/2010
28
SBIA 2010
# 55
Navegação baseada em
visão computacional
Extração
de atrbutos
Classificação
SBIA 2010
# 56
Navegação baseada em
visão computacional
Image
( 320 x 240 )
RGB
HSV
YUV
Histogram
Mean
Entropy
pixel-block
( 10 x 10 )

29. 29/10/2010
29
SBIA 2010
# 57
Navegação baseada em
visão computacional
Pixel
Block Classifier
Feature 1
Feature 2
Feature 3
Feature 5
Output
Classifier (ANN)
Feature 4
if (output < 0.3)
non-navigable
else if (output > 0.7)
navigable
else
undefined
SBIA 2010
# 58
Navegação baseada em
visão computacional
Frames used in training step
5 feature combinations (ANN) selected

30. 29/10/2010
30
SBIA 2010
# 59
Navegação baseada em
visão computacional
SBIA 2010
# 60
Navegação baseada em
visão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5

31. 29/10/2010
31
SBIA 2010
# 61
Navegação baseada em
visão computacional
Expected ANN 1 ANN 2
ANN 3 ANN 4 ANN 5
SBIA 2010
# 62
Identificação da via usando
visão computacional
Safe path identification
Confidence level

32. 29/10/2010
32
SBIA 2010
# 63
Identificação da via usando
visão computacional
SBIA 2010
# 64
Identificação da via usando
visão computacional

33. 29/10/2010
33
SBIA 2010
# 65
Identificação da via usando
visão computacional
SBIA 2010
# 66
Navegação autônoma
usando visão computacional

34. 29/10/2010
34
SBIA 2010
# 67
Navegação e desvio de obstáculos
usando visão computacional
SBIA 2010
# 68
Navegação autônoma utilizando GPS

35. 29/10/2010
35
SBIA 2010
# 69
Navegação autônoma utilizando GPS
SBIA 2010
# 70
DARPA Grand Challenge 2004
70
106 equipes inscritas e 25 finalistas
Premio de US$1.000.000,00
Desafio: Percorrer 224km
no deserto de forma autônoma
Melhor resultado: Red team (12km)
“Nobody won.
Nobody even came close” - CNN

36. 29/10/2010
36
SBIA 2010
# 71
DARPA Grand Challenge 2004
Blue Team
Video 1
Video 2
Video 3
Video 4
SBIA 2010
# 72
DARPA Grand Challenge 2005
Premio de US$2.000.000,00
195 equipes inscritas,
23 finalistas
5 terminaram o percurso
Vencedor:
Stanley
(Stanford University)
6h 53m

37. 29/10/2010
37
SBIA 2010
# 73
DARPA Urban Challenge 2007
SBIA 2010
# 74
DARPA Urban Challenge 2007
“none of the winning teams had taken any demerits
for traffic violations, and that the winners had all been
selected based on their finishing times “
“Tartan's vehicle averaged about 14 miles per hour
throughout the course, which covered about 55 miles.
Stanford averaged about 13 miles per hour, and
Virginia Tech averaged a bit less than that “
Junior NOVA

38. 29/10/2010
38
SBIA 2010
# 75
ELROB 2009
ELROB 2009
SBIA 2010
# 76
Avanços Recentes...
Beam me up
Sliding Parking
Google car

39. 29/10/2010
39
SBIA 2010
# 77
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
Denis Fernando Wolf – denis@icmc.usp.br
Fernando Santos Osório - fosorio@icmc.usp.br
Kalinka R. J. C. Branko - kalinka@icmc.usp.br
SBIA 2010
# 78
Veículos Aéreos Não Tripulados
• Projeto
ARARA

40. 29/10/2010
40
SBIA 2010
# 79
VANTs – Veículos Aéreos Não Tripulados
LRM – ICMC – USP / INCT-SEC
AGPlane
AGX Tecnologia
Projeto
ARARAYouTube: Search AGPLANE - MEMBECA 2008
INCT-SEC: Veículo Aéreo Autônomo
Veículos Aéreos Autônomos
SBIA 2010
# 80

41. 29/10/2010
41
AGplane 2 - Especificações
Características operacionais
Motor 40cc, 2T, 5HP, AVGAS
Peso máximo de decolagem: 20kg
Carga útil: 3kg
Autonomia de vôo: 4h
Velocidade de cruzeiro: 100km/h
Velocidade de estol: 40km/h
Sistema autônomo ou remotamente
pilotado
Pára-quedas de emergência
Gerador de energia/motor de
partida
Estação de controle móvel
Decolagem automática
SBIA 2010
# 81
AGplane 2 - Especificações
Sensores instalados a bordo
Receptor GPS
Câmera fotográfica
Sistema de vídeo em tempo
real
Altímetro
Velocímetro (velocidade
aerodinâmica)
Temperatura
Sensor de atitude baseado em
GPS
etc.
SBIA 2010
# 82

42. 29/10/2010
42
Tiriba
SBIA 2010
# 83
Tiriba
• Objetivo: sistema portátil para tomada de imagens aéreas
• Início: fev 2009
• Conclusão: 2010
• Características:
• Decolagem: lançamento manual
• Pouso automático: pára quedas
• Missão autônoma, estação de solo baseada em celular
• Propulsão elétrica: 1,2 KW
• Peso máximo de decolagem: 3Kg
• Payload: 700g
• Autonomia: 40min (2horas, futuro)
• Velocidade de cruzeiro: >80Km/h
• Montagem: 10min
SBIA 2010
# 84

43. 29/10/2010
43
Tiriba
Placa do PilotoPlaca do Piloto
Automático doAutomático do
TiribaTiriba
SBIA 2010
# 85
Tiriba
Protótipo do Tiriba em VôoProtótipo do Tiriba em Vôo ––
Teste da Unidade Inercial eTeste da Unidade Inercial e
BarométricaBarométrica
SBIA 2010
# 86

44. 29/10/2010
44
SBIA 2010
# 87
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
Denis Fernando Wolf – denis@icmc.usp.br
Fernando Santos Osório - fosorio@icmc.usp.br
Kalinka R. J. C. Branko - kalinka@icmc.usp.br
SBIA 2010
# 88
OBRIGADO!
Laboratório de Robótica Móvel
www.lrm.icmc.usp.br
www.inct-sec.org
Denis Fernando Wolf – denis@icmc.usp.br
Fernando Santos Osório - fosorio@icmc.usp.br
Kalinka R. J. C. Branko - kalinka@icmc.usp.br
http://www.slideshare.net/
Search: CLEI 2010 Tutorial
Search: SBIA 2010 Tutorial