SlideShare una empresa de Scribd logo
1 de 17
Descargar para leer sin conexión
Hierarquia de modelos e
Aprendizagem de M´aquina
Fabr´ıcio Jailson Barth
BandTec
Maio de 2015
http://fbarth.net.br/cursoBigData
Sum´ario
• Introdu¸c˜ao: hierarquia de modelos e aprendizagem de
m´aquina.
• O que ´e Aprendizagem de M´aquina?
• Hierarquia de aprendizado.
• Exemplos de aprendizagem supervisionada (modelos
preditivos).
• Exemplos de aprendizagem n˜ao supervisionada
(modelos descritivos).
• Referˆencias e exerc´ıcios.
Hierarquia de modelos e Aprendizagem de M´aquina — Sum´ario 2
http://fbarth.net.br/cursoBigData
Introdu¸c˜ao: hierarquia de modelos e
aprendizagem de m´aquina
• Durante muitos anos, duas ´areas da Ciˆencia da
Computa¸c˜ao (Banco de Dados e Aprendizagem de
M´aquina) tinham o mesmo objeto de estudo, mas
com vis˜oes diferentes.
• Banco de Dados → Processo de Descoberta de
Conhecimento (KDD).
• Aprendizagem de M´aquina → constru¸c˜ao de sistemas
capazes de aprender.
Hierarquia de modelos e Aprendizagem de M´aquina — Introdu¸c˜ao: hierarquia de modelos e aprendizagem de m´aquina 3
http://fbarth.net.br/cursoBigData
O que ´e Aprendizagem de M´aquina?
• ´Area de estudo que fornece aos computadores a
habilidade de aprender sem serem explicitamente
programados [Arthur Samuel (1959)].
• Defini¸c˜ao bem formada: A computer program is said
to learn from experience A with respect to some task
T and some performance measure P, if its performance
on T, as measured by P, improves with experience E
[Tom Mitchell (1998)].
Hierarquia de modelos e Aprendizagem de M´aquina — O que ´e Aprendizagem de M´aquina? 4
http://fbarth.net.br/cursoBigData
Exerc´ıcio
O que cada uma das senten¸cas abaixo descreve segundo a
defini¸c˜ao do Tom Mitchell?
• Classificar e-mails como spam ou n˜ao spam.
• Verificar quais e-mails o usu´ario classifica como spam.
• O n´umero (ou fra¸c˜ao) de e-mails corretamente
classificados como spam ou n˜ao spam.
Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcio 5
http://fbarth.net.br/cursoBigData
Hierarquia de aprendizado
Classificação Regressão
Supervisionada
Modelos preditivos
AssociaçãoSumarização Agrupamento
Não supervisionada
Modelos descritivos
Aprendizagem
Hierarquia de modelos e Aprendizagem de M´aquina — Hierarquia de aprendizado 6
http://fbarth.net.br/cursoBigData
Exemplos de aprendizagem supervisionada
• Estimar o pre¸co de uma casa.
atributos: tamanho, posi¸c˜ao geogr´afica, material.
classe: pre¸co (regress˜ao).
• Determinar se uma pessoa tem cˆancer benigno ou
maligno.
atributos: tamanho do tumor, formato do tumor,
idade do paciente.
classe: tumor benigno ou tumor maligno
(classifica¸c˜ao).
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem supervisionada 7
http://fbarth.net.br/cursoBigData
• Determinar se ´e um texto publicado em uma rede
social ´e inadequado ou n˜ao.
atributos: quantidade de palavras encontradas no
texto, quantidade de palavras proibidas
encontradas no texto, quantidade de textos j´a
criados pelo usu´ario, idade do usu´ario no sistema,
quantidade de textos criados pelo usu´ario e
moderados, ...
classe: texto adequado ou n˜ao (classifica¸c˜ao).
classes: texto adequado, texto inadequado, texto
com propaganda (classifica¸c˜ao com m´ultiplas
classes).
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem supervisionada 8
http://fbarth.net.br/cursoBigData
Exemplo de dataset com classe
Idade Miopia Astigmat. Lacrimej. Lentes
jovem m´ıope n˜ao reduzido nenhuma
jovem m´ıope n˜ao normal fraca
jovem m´ıope sim reduzido nenhuma
jovem m´ıope sim normal forte
· · · · · · · · · · · · · · ·
adulto m´ıope n˜ao reduzido nenhuma
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplo de dataset com classe 9
http://fbarth.net.br/cursoBigData
Exerc´ıcios
Que problema deve ser tratado como problema de
regress˜ao e que problema deve ser tratado como problema
de classifica¸c˜ao?
• A sua empresa possui 1.000 itens idˆenticos em
estoque. Vocˆe quer predizer quantos destes itens ser˜ao
vendidos nos pr´oximos trˆes meses.
• Vocˆe quer examinar clientes seus e para cada um
decidir se ele ir´a pagar todo o financiamento ou n˜ao.
Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 10
http://fbarth.net.br/cursoBigData
Exemplos de aprendizagem n˜ao
supervisionada
• Dado conjuntos de itens adquiridos na mesma compra,
identificar padr˜oes de compra.
• Identificar padr˜oes de navega¸c˜ao em sites.
• Agrupar not´ıcias semelhantes publicadas por v´arias
fontes de informa¸c˜ao.
• Numa rede social, identificar sub-grupo de pessoas.
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem n˜ao supervisionada 11
http://fbarth.net.br/cursoBigData
Exemplos de aprendizagem n˜ao
supervisionada
Table 1: Exemplo de tabela com as transa¸c˜oes dos usu´arios
usu´ario categoria1 categoria2 categoria3 · · · categoriam
user1 0 2 0 · · · 1
user2 1 1 0 · · · 0
user3 2 0 1 · · · 0
user4 0 1 0 · · · 0
· · · · · · · · · · · · · · · · · ·
usern 1 1 0 · · · 1
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem n˜ao supervisionada 12
http://fbarth.net.br/cursoBigData
Exemplo de identifica¸c˜ao de grupos em
redes sociais
Hierarquia de modelos e Aprendizagem de M´aquina — Exemplo de identifica¸c˜ao de grupos em redes sociais 13
http://fbarth.net.br/cursoBigData
Exerc´ıcios
Quais dos problemas abaixo vocˆe iria resolver com uma
abordagem n˜ao supervisionada de aprendizagem?
• Dado e-mails rotulados como spam e n˜ao spam,
desenvolver um filtro de spam.
• Dado um conjunto de not´ıcias encontradas na
Internet, agrup´a-las em conjunto de not´ıcias que
tratam do mesmo assunto.
Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 14
http://fbarth.net.br/cursoBigData
• Dado uma base de clientes, descobrir segmentos de
clientes.
• Dado uma base de pacientes diagnosticados com
diabetes ou n˜ao, aprender a classificar novos pacientes
com diabetes ou n˜ao.
Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 15
http://fbarth.net.br/cursoBigData
Material de consulta
• Cap´ıtulo 1 e 2 do livro Gareth James, Daniela Witten,
Trevor Hastie, and Robert Tibshirani. An Introduction
to Statistical Learning with Applications in R.
Springer, 4th edition, 2014.
Hierarquia de modelos e Aprendizagem de M´aquina — Material de consulta 16
http://fbarth.net.br/cursoBigData
Pr´oximos assuntos
• Aquisi¸c˜ao e pr´e-processamento dos dados;
• An´alise Explorat´oria.
Hierarquia de modelos e Aprendizagem de M´aquina — Pr´oximos assuntos 17

Más contenido relacionado

Similar a Hierarquia de modelos e Aprendizagem de Máquina - Pós Graduação em Big Data

Collaborative filtering
Collaborative filteringCollaborative filtering
Collaborative filteringZhang Yi Ling
 
Cap. 7 selecionando participantes
Cap. 7   selecionando participantesCap. 7   selecionando participantes
Cap. 7 selecionando participantesLuiz Agner
 
Aprendizado de máquina
Aprendizado de máquinaAprendizado de máquina
Aprendizado de máquinaparasite
 
Aula 02 giovanni --dcbd
Aula 02   giovanni --dcbdAula 02   giovanni --dcbd
Aula 02 giovanni --dcbdgtiprotec
 
Card Sorting na Arquitetura de Informação
Card Sorting na Arquitetura de InformaçãoCard Sorting na Arquitetura de Informação
Card Sorting na Arquitetura de InformaçãoLuiz Agner
 
Palestra - Card Sorting (atualizada)
Palestra - Card Sorting (atualizada)Palestra - Card Sorting (atualizada)
Palestra - Card Sorting (atualizada)Luiz Agner
 
Aula Sistemas De Marketing
Aula Sistemas De MarketingAula Sistemas De Marketing
Aula Sistemas De Marketingeloychaves
 
Cardsorting - Palestra (atualizada)
Cardsorting - Palestra (atualizada) Cardsorting - Palestra (atualizada)
Cardsorting - Palestra (atualizada) Luiz Agner
 
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...E-Commerce Brasil
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docxtrabsacad5
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docxtrabsacad4
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docxexatasresolve11
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docxtrabsacad6
 

Similar a Hierarquia de modelos e Aprendizagem de Máquina - Pós Graduação em Big Data (20)

Introdução à Pesquisa de Mercado
Introdução à Pesquisa de MercadoIntrodução à Pesquisa de Mercado
Introdução à Pesquisa de Mercado
 
Collaborative filtering
Collaborative filteringCollaborative filtering
Collaborative filtering
 
Cap. 7 selecionando participantes
Cap. 7   selecionando participantesCap. 7   selecionando participantes
Cap. 7 selecionando participantes
 
Aprendizado de máquina
Aprendizado de máquinaAprendizado de máquina
Aprendizado de máquina
 
Tomada de decisão: uma breve introdução
Tomada de decisão: uma breve introduçãoTomada de decisão: uma breve introdução
Tomada de decisão: uma breve introdução
 
Aula 02 giovanni --dcbd
Aula 02   giovanni --dcbdAula 02   giovanni --dcbd
Aula 02 giovanni --dcbd
 
Card Sorting na Arquitetura de Informação
Card Sorting na Arquitetura de InformaçãoCard Sorting na Arquitetura de Informação
Card Sorting na Arquitetura de Informação
 
Palestra - Card Sorting (atualizada)
Palestra - Card Sorting (atualizada)Palestra - Card Sorting (atualizada)
Palestra - Card Sorting (atualizada)
 
Aula Sistemas De Marketing
Aula Sistemas De MarketingAula Sistemas De Marketing
Aula Sistemas De Marketing
 
Guia big6(2
Guia big6(2Guia big6(2
Guia big6(2
 
Cardsorting - Palestra (atualizada)
Cardsorting - Palestra (atualizada) Cardsorting - Palestra (atualizada)
Cardsorting - Palestra (atualizada)
 
Reuniao eja
Reuniao ejaReuniao eja
Reuniao eja
 
Reuniao eja
Reuniao ejaReuniao eja
Reuniao eja
 
MAPA Logística empresarial 52/2023
MAPA Logística empresarial 52/2023MAPA Logística empresarial 52/2023
MAPA Logística empresarial 52/2023
 
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...
[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...
 
Webquest problema de contagem
Webquest problema de contagemWebquest problema de contagem
Webquest problema de contagem
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docx
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docx
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docx
 
Mapa Empreendedorismo.docx
Mapa Empreendedorismo.docxMapa Empreendedorismo.docx
Mapa Empreendedorismo.docx
 

Más de Fabrício Barth

Mineração de padrões frequentes - Pós Graduação em Big Data
Mineração de padrões frequentes - Pós Graduação em Big DataMineração de padrões frequentes - Pós Graduação em Big Data
Mineração de padrões frequentes - Pós Graduação em Big DataFabrício Barth
 
Redução de dimensionalidade - Pós Graduação em Big Data
Redução de dimensionalidade - Pós Graduação em Big DataRedução de dimensionalidade - Pós Graduação em Big Data
Redução de dimensionalidade - Pós Graduação em Big DataFabrício Barth
 
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataContexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataFabrício Barth
 
Pré-processamento [no R] e Análise Exploratória - Curso de Big Data
Pré-processamento [no R] e Análise Exploratória - Curso de Big DataPré-processamento [no R] e Análise Exploratória - Curso de Big Data
Pré-processamento [no R] e Análise Exploratória - Curso de Big DataFabrício Barth
 
Algoritmos de Agrupamento - Aprendizado não supervisionado
Algoritmos de Agrupamento - Aprendizado não supervisionadoAlgoritmos de Agrupamento - Aprendizado não supervisionado
Algoritmos de Agrupamento - Aprendizado não supervisionadoFabrício Barth
 
Human Activity Recognition
Human Activity RecognitionHuman Activity Recognition
Human Activity RecognitionFabrício Barth
 
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando ROficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando RFabrício Barth
 
Iniciativas em Big Data no VAGAS.com
Iniciativas em Big Data no VAGAS.comIniciativas em Big Data no VAGAS.com
Iniciativas em Big Data no VAGAS.comFabrício Barth
 
Web Data Mining com R: identificação de spam utilizando Random Forest
Web Data Mining com R: identificação de spam utilizando Random ForestWeb Data Mining com R: identificação de spam utilizando Random Forest
Web Data Mining com R: identificação de spam utilizando Random ForestFabrício Barth
 
Web Data Mining com R: design de projetos para criação de modelos preditivos
Web Data Mining com R: design de projetos para criação de modelos preditivosWeb Data Mining com R: design de projetos para criação de modelos preditivos
Web Data Mining com R: design de projetos para criação de modelos preditivosFabrício Barth
 
Web Data Mining em R: agrupamento de mensagens do twitter
Web Data Mining em R: agrupamento de mensagens do twitterWeb Data Mining em R: agrupamento de mensagens do twitter
Web Data Mining em R: agrupamento de mensagens do twitterFabrício Barth
 
Web Data Mining com R: criação de regras de associação a partir da navegação ...
Web Data Mining com R: criação de regras de associação a partir da navegação ...Web Data Mining com R: criação de regras de associação a partir da navegação ...
Web Data Mining com R: criação de regras de associação a partir da navegação ...Fabrício Barth
 
Web Data Mining com R: pré-processamento de dados [no R]
Web Data Mining com R: pré-processamento de dados [no R]Web Data Mining com R: pré-processamento de dados [no R]
Web Data Mining com R: pré-processamento de dados [no R]Fabrício Barth
 
Data Science, Machine Learning and Big Data
Data Science, Machine Learning and Big DataData Science, Machine Learning and Big Data
Data Science, Machine Learning and Big DataFabrício Barth
 
Uma introdução à mineração de informações
Uma introdução à mineração de informaçõesUma introdução à mineração de informações
Uma introdução à mineração de informaçõesFabrício Barth
 
Data, Text and Web Mining
Data, Text and Web MiningData, Text and Web Mining
Data, Text and Web MiningFabrício Barth
 
Ferramentas Java para Recuperação e Mineração de Informações
Ferramentas Java para Recuperação e Mineração de InformaçõesFerramentas Java para Recuperação e Mineração de Informações
Ferramentas Java para Recuperação e Mineração de InformaçõesFabrício Barth
 
Atena: um sistema para suporte ao planejamento na área de Gestão de Projeto
Atena: um sistema para suporte ao planejamento na área de Gestão de ProjetoAtena: um sistema para suporte ao planejamento na área de Gestão de Projeto
Atena: um sistema para suporte ao planejamento na área de Gestão de ProjetoFabrício Barth
 

Más de Fabrício Barth (20)

Mineração de padrões frequentes - Pós Graduação em Big Data
Mineração de padrões frequentes - Pós Graduação em Big DataMineração de padrões frequentes - Pós Graduação em Big Data
Mineração de padrões frequentes - Pós Graduação em Big Data
 
Redução de dimensionalidade - Pós Graduação em Big Data
Redução de dimensionalidade - Pós Graduação em Big DataRedução de dimensionalidade - Pós Graduação em Big Data
Redução de dimensionalidade - Pós Graduação em Big Data
 
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big DataContexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
Contexto de Big Data, Ciência de Dados e KDD - Pós Graduação em Big Data
 
Pré-processamento [no R] e Análise Exploratória - Curso de Big Data
Pré-processamento [no R] e Análise Exploratória - Curso de Big DataPré-processamento [no R] e Análise Exploratória - Curso de Big Data
Pré-processamento [no R] e Análise Exploratória - Curso de Big Data
 
Algoritmos de Agrupamento - Aprendizado não supervisionado
Algoritmos de Agrupamento - Aprendizado não supervisionadoAlgoritmos de Agrupamento - Aprendizado não supervisionado
Algoritmos de Agrupamento - Aprendizado não supervisionado
 
Human Activity Recognition
Human Activity RecognitionHuman Activity Recognition
Human Activity Recognition
 
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando ROficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
 
Iniciativas em Big Data no VAGAS.com
Iniciativas em Big Data no VAGAS.comIniciativas em Big Data no VAGAS.com
Iniciativas em Big Data no VAGAS.com
 
Web Data Mining com R
Web Data Mining com RWeb Data Mining com R
Web Data Mining com R
 
Web Data Mining com R: identificação de spam utilizando Random Forest
Web Data Mining com R: identificação de spam utilizando Random ForestWeb Data Mining com R: identificação de spam utilizando Random Forest
Web Data Mining com R: identificação de spam utilizando Random Forest
 
Web Data Mining com R: design de projetos para criação de modelos preditivos
Web Data Mining com R: design de projetos para criação de modelos preditivosWeb Data Mining com R: design de projetos para criação de modelos preditivos
Web Data Mining com R: design de projetos para criação de modelos preditivos
 
Web Data Mining em R: agrupamento de mensagens do twitter
Web Data Mining em R: agrupamento de mensagens do twitterWeb Data Mining em R: agrupamento de mensagens do twitter
Web Data Mining em R: agrupamento de mensagens do twitter
 
Web Data Mining com R: criação de regras de associação a partir da navegação ...
Web Data Mining com R: criação de regras de associação a partir da navegação ...Web Data Mining com R: criação de regras de associação a partir da navegação ...
Web Data Mining com R: criação de regras de associação a partir da navegação ...
 
Web Data Mining com R: pré-processamento de dados [no R]
Web Data Mining com R: pré-processamento de dados [no R]Web Data Mining com R: pré-processamento de dados [no R]
Web Data Mining com R: pré-processamento de dados [no R]
 
Data Science, Machine Learning and Big Data
Data Science, Machine Learning and Big DataData Science, Machine Learning and Big Data
Data Science, Machine Learning and Big Data
 
Projeto Simple Maps
Projeto Simple MapsProjeto Simple Maps
Projeto Simple Maps
 
Uma introdução à mineração de informações
Uma introdução à mineração de informaçõesUma introdução à mineração de informações
Uma introdução à mineração de informações
 
Data, Text and Web Mining
Data, Text and Web MiningData, Text and Web Mining
Data, Text and Web Mining
 
Ferramentas Java para Recuperação e Mineração de Informações
Ferramentas Java para Recuperação e Mineração de InformaçõesFerramentas Java para Recuperação e Mineração de Informações
Ferramentas Java para Recuperação e Mineração de Informações
 
Atena: um sistema para suporte ao planejamento na área de Gestão de Projeto
Atena: um sistema para suporte ao planejamento na área de Gestão de ProjetoAtena: um sistema para suporte ao planejamento na área de Gestão de Projeto
Atena: um sistema para suporte ao planejamento na área de Gestão de Projeto
 

Hierarquia de modelos e Aprendizagem de Máquina - Pós Graduação em Big Data

  • 1. Hierarquia de modelos e Aprendizagem de M´aquina Fabr´ıcio Jailson Barth BandTec Maio de 2015
  • 2. http://fbarth.net.br/cursoBigData Sum´ario • Introdu¸c˜ao: hierarquia de modelos e aprendizagem de m´aquina. • O que ´e Aprendizagem de M´aquina? • Hierarquia de aprendizado. • Exemplos de aprendizagem supervisionada (modelos preditivos). • Exemplos de aprendizagem n˜ao supervisionada (modelos descritivos). • Referˆencias e exerc´ıcios. Hierarquia de modelos e Aprendizagem de M´aquina — Sum´ario 2
  • 3. http://fbarth.net.br/cursoBigData Introdu¸c˜ao: hierarquia de modelos e aprendizagem de m´aquina • Durante muitos anos, duas ´areas da Ciˆencia da Computa¸c˜ao (Banco de Dados e Aprendizagem de M´aquina) tinham o mesmo objeto de estudo, mas com vis˜oes diferentes. • Banco de Dados → Processo de Descoberta de Conhecimento (KDD). • Aprendizagem de M´aquina → constru¸c˜ao de sistemas capazes de aprender. Hierarquia de modelos e Aprendizagem de M´aquina — Introdu¸c˜ao: hierarquia de modelos e aprendizagem de m´aquina 3
  • 4. http://fbarth.net.br/cursoBigData O que ´e Aprendizagem de M´aquina? • ´Area de estudo que fornece aos computadores a habilidade de aprender sem serem explicitamente programados [Arthur Samuel (1959)]. • Defini¸c˜ao bem formada: A computer program is said to learn from experience A with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E [Tom Mitchell (1998)]. Hierarquia de modelos e Aprendizagem de M´aquina — O que ´e Aprendizagem de M´aquina? 4
  • 5. http://fbarth.net.br/cursoBigData Exerc´ıcio O que cada uma das senten¸cas abaixo descreve segundo a defini¸c˜ao do Tom Mitchell? • Classificar e-mails como spam ou n˜ao spam. • Verificar quais e-mails o usu´ario classifica como spam. • O n´umero (ou fra¸c˜ao) de e-mails corretamente classificados como spam ou n˜ao spam. Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcio 5
  • 6. http://fbarth.net.br/cursoBigData Hierarquia de aprendizado Classificação Regressão Supervisionada Modelos preditivos AssociaçãoSumarização Agrupamento Não supervisionada Modelos descritivos Aprendizagem Hierarquia de modelos e Aprendizagem de M´aquina — Hierarquia de aprendizado 6
  • 7. http://fbarth.net.br/cursoBigData Exemplos de aprendizagem supervisionada • Estimar o pre¸co de uma casa. atributos: tamanho, posi¸c˜ao geogr´afica, material. classe: pre¸co (regress˜ao). • Determinar se uma pessoa tem cˆancer benigno ou maligno. atributos: tamanho do tumor, formato do tumor, idade do paciente. classe: tumor benigno ou tumor maligno (classifica¸c˜ao). Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem supervisionada 7
  • 8. http://fbarth.net.br/cursoBigData • Determinar se ´e um texto publicado em uma rede social ´e inadequado ou n˜ao. atributos: quantidade de palavras encontradas no texto, quantidade de palavras proibidas encontradas no texto, quantidade de textos j´a criados pelo usu´ario, idade do usu´ario no sistema, quantidade de textos criados pelo usu´ario e moderados, ... classe: texto adequado ou n˜ao (classifica¸c˜ao). classes: texto adequado, texto inadequado, texto com propaganda (classifica¸c˜ao com m´ultiplas classes). Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem supervisionada 8
  • 9. http://fbarth.net.br/cursoBigData Exemplo de dataset com classe Idade Miopia Astigmat. Lacrimej. Lentes jovem m´ıope n˜ao reduzido nenhuma jovem m´ıope n˜ao normal fraca jovem m´ıope sim reduzido nenhuma jovem m´ıope sim normal forte · · · · · · · · · · · · · · · adulto m´ıope n˜ao reduzido nenhuma Hierarquia de modelos e Aprendizagem de M´aquina — Exemplo de dataset com classe 9
  • 10. http://fbarth.net.br/cursoBigData Exerc´ıcios Que problema deve ser tratado como problema de regress˜ao e que problema deve ser tratado como problema de classifica¸c˜ao? • A sua empresa possui 1.000 itens idˆenticos em estoque. Vocˆe quer predizer quantos destes itens ser˜ao vendidos nos pr´oximos trˆes meses. • Vocˆe quer examinar clientes seus e para cada um decidir se ele ir´a pagar todo o financiamento ou n˜ao. Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 10
  • 11. http://fbarth.net.br/cursoBigData Exemplos de aprendizagem n˜ao supervisionada • Dado conjuntos de itens adquiridos na mesma compra, identificar padr˜oes de compra. • Identificar padr˜oes de navega¸c˜ao em sites. • Agrupar not´ıcias semelhantes publicadas por v´arias fontes de informa¸c˜ao. • Numa rede social, identificar sub-grupo de pessoas. Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem n˜ao supervisionada 11
  • 12. http://fbarth.net.br/cursoBigData Exemplos de aprendizagem n˜ao supervisionada Table 1: Exemplo de tabela com as transa¸c˜oes dos usu´arios usu´ario categoria1 categoria2 categoria3 · · · categoriam user1 0 2 0 · · · 1 user2 1 1 0 · · · 0 user3 2 0 1 · · · 0 user4 0 1 0 · · · 0 · · · · · · · · · · · · · · · · · · usern 1 1 0 · · · 1 Hierarquia de modelos e Aprendizagem de M´aquina — Exemplos de aprendizagem n˜ao supervisionada 12
  • 13. http://fbarth.net.br/cursoBigData Exemplo de identifica¸c˜ao de grupos em redes sociais Hierarquia de modelos e Aprendizagem de M´aquina — Exemplo de identifica¸c˜ao de grupos em redes sociais 13
  • 14. http://fbarth.net.br/cursoBigData Exerc´ıcios Quais dos problemas abaixo vocˆe iria resolver com uma abordagem n˜ao supervisionada de aprendizagem? • Dado e-mails rotulados como spam e n˜ao spam, desenvolver um filtro de spam. • Dado um conjunto de not´ıcias encontradas na Internet, agrup´a-las em conjunto de not´ıcias que tratam do mesmo assunto. Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 14
  • 15. http://fbarth.net.br/cursoBigData • Dado uma base de clientes, descobrir segmentos de clientes. • Dado uma base de pacientes diagnosticados com diabetes ou n˜ao, aprender a classificar novos pacientes com diabetes ou n˜ao. Hierarquia de modelos e Aprendizagem de M´aquina — Exerc´ıcios 15
  • 16. http://fbarth.net.br/cursoBigData Material de consulta • Cap´ıtulo 1 e 2 do livro Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. An Introduction to Statistical Learning with Applications in R. Springer, 4th edition, 2014. Hierarquia de modelos e Aprendizagem de M´aquina — Material de consulta 16
  • 17. http://fbarth.net.br/cursoBigData Pr´oximos assuntos • Aquisi¸c˜ao e pr´e-processamento dos dados; • An´alise Explorat´oria. Hierarquia de modelos e Aprendizagem de M´aquina — Pr´oximos assuntos 17