Este documento apresenta uma agenda para uma dissertação sobre previsão do mercado de ações através de data mining. A agenda inclui uma introdução sobre o problema e objetivos, desmistificação do mercado de ações, aplicação de data mining no mercado, metodologia CRISP-DM e conclusão.
Analyze Stock Market Behavior Using Data Mining Techniques
2. AGENDA
Introdução
O problema
Objectivos da Dissertação
Desmistificação do Mercado de Acções
Data Mining e a sua Aplicação no Mercado de Acções
Dissertação segundo a Metodologia CRISP-DM
Conclusão
Abordagem crítica sobre o trabalho
Trabalho Futuro
2
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
3. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Problema Objectivos
O PROBLEMA...
Prever é uma tarefa dificil, até porque o futuro nunca será exactamente
igual ao passado [Taleb ‘07]
É uma área que por envolver dinheiro, os seus estudos bem sucedidos
são mantidos em sigilo
Uma teoria [Fama ’70] defende que não é possível obter retornos
anormais através de informação pública disponível (Teoria dos Mercados
Eficientes)
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
4. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Problema Objectivos
O PROBLEMA...
Os investidores profissionais acreditam que sim, os economistas
acreditam que não
Mas os principais bancos de investimento têm departamentos
dedicados à implementação de Redes Neuronais Artificiais [McGough ‘92]
Se não for possível realizar previsões sobre o Mercado de Acções, pelo
menos que se aprendam com erros passados [Elder ‘07]
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
5. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Problema Objectivos
OBJECTIVOS
Descobrir comportamentos e padrões escondidos sobre os dados de uma
empresa cotada, através da criação de um modelo preditivo de Data
Mining
Criar um Sistema de Apoio à Decisão (SAD) que permita automatizar e
disponibilizar os resultados obtidos no trabalho de estudo
INDICADOR DE SUCESSO
Estratégia activa resultante da criação do modelo preditivo deverá superar
estratégia passiva de compra e venda a longo prazo
5
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
6. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Problema Objectivos
VISÃO GERAL DO TRABALHO
Transformação
Dividir amostra para
Preparação
Treino e Teste
Website
Yahoo
Cotações
Modelo
Disponibilização
Criação do Teste do dos Sinais
Modelo Modelo
1 (Comprar)
0 (Manter)
Classificar resultado contínuo
previsto pelo modelo -1 (Vender)
6
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
7. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
7
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
8. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
O Mercado Movimentos Factores O Investidor
O MERCADO
Para ajudar no crescimento das empresas através do financiamento
resultante da venda parcial das mesmas (Activos)
Estes activos são conhecidos como acções ou títulos, e representam
parte de uma empresa
Estes activos podem ser agrupados
(índices) para permitir a análise da evolução
de um determinado mercado ou sector de
actividade. (PSI20, S&P500, DAX…)
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
9. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
O Mercado Movimentos Factores O Investidor
O MERCADO
Lugar físico onde são colocadas ordens de compra e venda propostas
por compradores e vendedores a um preço que consideram justo
Facilitar a troca de acções/activos/títulos entre os compradores e os
vendedores reduzindo o risco de investimento
Comprar um activo a um preço baixo e vender o mesmo a preço alto
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
10. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
O Mercado Movimentos Factores O Investidor
O MERCADO
Razões Racionais
Ganhar dinheiro pela diferença da compra e posterior venda ou
pelos dividendos que as empresas distribuem pelos accionistas
Razões Irracionais
Vicío de um jogo
Ganância e ilusão de ficar rico rapidamente
Optimismo generalizado
“If you’ve been in the game 30 minutes and you don’t know who the
patsy is, you’re the patsy” , Warren Buffett
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
11. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
O Mercado Movimentos Factores O Investidor
Estimativa de crescimento de uma empresa
Indicadores Macroeconómicos (mercado)
Inflação
Taxas euribor
Cotação do barril do petróleo
Índice de confiança dos consumidores
Índice de desemprego
Taxas de cambio
Indicadores Microeconómicos (empresa)
Retorno do investimento
Dividendos distribuídos aos accionistas
Nível de endividamento
Lei da oferta e da procura
Especulação
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
12. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
FACTORES QUE INFLUENCIAM
O Mercado Movimentos Factores O Investidor
UMA DECISÃO
Caracterizada pela análise da actividade de uma empresa, do sector em
que está incluída e da economia em geral.
Empresa é analisada através do relatório de contas disponibilizados
periodicamente
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
13. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
FACTORES QUE INFLUENCIAM
O Mercado Movimentos Factores O Investidor
UMA DECISÃO
Acredita que os gráficos podem ser usados para prever a oferta e
procura de um activo e prever o comportamento humano.
Em vez de reagir a um evento, tenta antecipá-lo
Tenta perceber as emoções do mercado, estudando o mercado em vez
dos seus componentes
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
14. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
FACTORES QUE INFLUENCIAM
O Mercado Movimentos Factores O Investidor
UMA DECISÃO
Apesar da evolução exponencial das tecnologias de informação, ainda
continua o ser o Homem a tomar decisões de investimento, e que age
sobre o impulso da euforia e da ganância, ou pressionado pelo medo
É fácil ser racional quando o
mercado de acções está fechado
Decisões tomadas com calma
num fim-de-semana desaparecem
com a abertura do mercado
“O Mercado de Acções tira dinheiro às pessoas que não têm
paciência e distribui-o pelas pessoas que a têm”, Warren Buffett
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
15. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
O Mercado Movimentos Factores O Investidor
O INVESTIDOR...
É ele que compra e vende activos
É ele que paga as taxas de cada negociação
É ele que compra revistas e jornais da especialidade
É ele que patrocina todas as empresas de consultoria financeira
É ele a peça principal do jogo, mesmo começando em desvantagem
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
16. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
16
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
17. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Conceito Técnica utilizada
DATA MINING
Data mining é o processo de descoberta de novas correlações, padrões e
tendências em grandes quantidades de dados, armazenados em
repositórios, usando tecnologias de reconhecimento de padrões, bem
como técnicas estatísticas e matemáticas. [Gartner]
Data Mining é também conhecido por ser um dos passos da descoberta
de conhecimento em base de dados [Fayyad et al ’96]
17
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
18. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Conceito Técnica utilizada
DATA MINING
• Fidelização de clientes
•
•
Gestão Stocks
Detecção de fraudes
Operações •
•
Redes Neuronais Artificiais
Árvores de Decisão
• Indução de regras
• Risco concessão de crédito • Clustering
• ... • Classificação • Nearest Neighbour
• Previsão • Series Temporais …
• Associação
• Segmentação
Aplicações • ...
Técnicas
18
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
19. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Conceito Técnica utilizada
REDE NEURONAL ARTIFICIAL
É uma técnica computacional que apresenta um modelo inspirado na
estrutura neuronal de organismos inteligentes, e que adquire
conhecimento através da experiência. [Fonte: wikipédia]
O algoritmo mais popular em aplicações financeiras é o back-propagation
[Werbos ‘74], onde a RNA supervisionada vai ajustando os pesos de modo
a minimizar o erro (desvio entre Y e Y’)
Enquanto a arquitectura mais utilizada é a Multi-layer Perceptron (MLP)
[Haykin ‘01], onde a RNA é constituída por 3 camadas principais
19
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
20. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Conceito Técnica utilizada
REDE NEURONAL ARTIFICIAL
Uma propriedade importante de uma Rede Neuronal Artificial é a capacidade
para aprender a partir do seu meio ambiente.
Aprendizagem supervisionada
Aprende baseando-se em exemplos
Aprendizagem não supervisionada
Aprende baseando-se em observações e descobertas
20
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
21. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Conceito Técnica utilizada
REDE NEURONAL ARTIFICIAL
A maior parte dos estudos realizados com RNA tenta prever o valor de um
índice ou acção num período futuro (valor contínuo)
Outros tentam prever o movimento futuro com o sinal de comprar ou
vender (valor alvo binário 0 ou 1)
*Chenoweth et al.’96+*Fernando et al.’00+*Yao et al.‘99+*Wood et al. ‘96+
Mais recentemente surgiram estudos que tentam prever o sinal de
comprar, vender mas também o de manter *CHA et al.‘00+*Vanstone ‘06+
21
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
22. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
22
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
23. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
CRISP-DM
CRISP-DM (CRoss Industry Standard Process for Data Mining) é uma
metodologia de desenvolvimento de projectos de Data Mining
É bastante compreensiva e fornece uma visão integrada e delimitada
sobre as 6 fases que um projecto de Data Mining deverá seguir
23
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
24. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
COMPREENSÃO
Compreensão Preparação Modelação Avaliação Compreensão
DOS DADOS
Cotações da Novabase para o período entre
2001-01-01 e 2009-08-21
24
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
25. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
COMPREENSÃO
Compreensão Preparação Modelação Avaliação Compreensão
DOS DADOS
Média Móvel Simples (MA) e Exponencial (EMA)
Indicador de Força Relativa (RSI) *Wilder ‘78+
Indicador Convergência/Divergência (MACD)
*Murphy ‘99+
Indicador Guppy (GMMA)
*Guppy ‘04+
Indicador Estocástico (%K/%D)
*Edwards et al. ‘48+
Indicador de Mudança Rácio (ROC)
25
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
26. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
PREPARAÇÃO
Compreensão Preparação Modelação Avaliação Implementação
DOS DADOS
Com base em estudos de [Vanstone ‘06] e
[Chong ’07] [Chong ’08], as variáveis seguintes
foram as que mostraram maior importância
para no modelo criado
26
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
27. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
PREPARAÇÃO
Compreensão Preparação Modelação Avaliação Implementação
DOS DADOS
O principal objectivo em RNA supervisionadas
é o de encontrar o “valor alvo” mais correcto
sobre dados históricos
Na criação do “valor alvo” para treino foi seguida a abordagem de
*Vanstone ‘06+ , onde o valor alvo é gerado a partir do máximo retorno
obtido nos 5 dias posteriores ao dia actual (valor contínuo)
27
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
28. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
MODELAÇÃO
28
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
29. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
MODELAÇÃO
Com objectivo de eliminar “ruído” e tentar
identificar apenas o movimento do activo no
dia+1, foi aplicado o desvio padrão sobre a
média do valor previsto
Para alinhar o resultado do modelo preditivo,
com o perfil de risco de um investidor, foram
criadas 3 diferentes estratégias activas
29
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
30. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
AVALIAÇÃO
Análise de Rentabilidade – Back-testing
Análise Estatística de Correlação (0,304)
Análise Gráfica de sinais gerados
Análise de Risco (Índice Sharpe + dias em risco)
30
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
31. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
AVALIAÇÃO
31
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
32. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
IMPLEMENTAÇÃO
Uma área de retenção dos dados, para apoiar
no processo de ETL
Um Data Mart para exploração da informação
de cada activo
Um repositório para Data Mining com os
conjuntos de dados de treino e teste do
modelo NomeBaseDados: dbStockMarketDSA
Agragação/Filtragem/preparação dos
Dados para o DataMart
NomeBaseDados: dbStockMarketDM NomeBaseDados: dbStockAS
TickerQuotes Ticker FactTickerQuotes DimTicker
(Cotações) (Índices e Acções) (Fact table) (Dimension Ticker)
cubeStockMarket
(OLAP cube)
Database Database Database Database
Table Table Table Table
structDM01
Dates Portfólio
DimDate (Classification)
(Tabela com todas as (Agrupamento
(Dimension date)
datas) Índices e Acções)
Database Database Database
Table Table Table
Source Systems Staging Area (DSA) DataMart (DM) SSAS
(Web Services) 3 Server Server Server
5 6
4
Extract Load Process
Transform
32
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
33. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Compreensão Preparação Modelação Avaliação Implementação
IMPLEMENTAÇÃO
33
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
34. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
34
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
35. Desmistificação Aplicação Trabalho
Introdução
Mercado Acções Data Mining Realizado
Conclusão
CONSIDERAÇÕES
Considerações Trabalho Futuro
FINAIS
A ferramenta inicialmente planeada, não estava ainda preparada para
uma investigação mais aprofundada
O custo das transacções de compra e venda não foram equacionados por
variarem ao longo do tempo e ser normalmente um custo fixo
Foi necessária muita persistência na fase de selecção das variáveis mais
importantes
35
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão
36. Desmistificação Aplicação Trabalho
Introdução Conclusão
Mercado Acções Data Mining Realizado
Considerações Trabalho Futuro
TRABALHO FUTURO
Transposição do trabalho realizado para o “mundo real”
Descobrir padrões nos movimentos dos índices mundiais
Analisar a possibilidade de Inside Trading
Generalização do modelo a outros activos
36
Defesa de tese como requisito para obtenção do grau de:
Mestre em Sistemas Integrados de Apoio à Decisão