SlideShare una empresa de Scribd logo
1 de 11
Descargar para leer sin conexión
Effiziente Verarbeitung von großen Datenmengen
Andreas Eisenkolb

January 7, 2014

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

1 / 11
Inhaltsverzeichnis

1

Big Data

2

MapReduce

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

2 / 11
Big Data

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

3 / 11
Big Data

speichert ca. 2,5 Petabytes
1 Petabyte = 1 048 576 Gigabytes
IBM Festplatten-Cluster speichert 20 Petabayte
1

1

Quelle: http://www.dailytech.com/article.aspx?newsid=22558
Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

4 / 11
Was versteht man unter Big Data?

Big Data
Big Data bezeichnet große Datenmengen aus vielf¨ltigen Quellen, die mit
a
Hilfe neu entwickelter Methoden und Technologien erfasst, verteilt,
gespeichert, durchsucht, analysiert und visualisiert werden k¨nnena .
o
a

Wissenschaftliche Dienste des Deutschen Bundestages

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

5 / 11
Big Data Challenge

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

6 / 11
Die 4 ”Vs” von Big Data

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

7 / 11
Was ist MapReduce?

MapReduce
MapReduce ist ein vom Unternehmen Google Inc. eingef¨hrtes
u
Programmiermodell f¨r nebenl¨ufige Berechnungen uber große
u
a
¨
Datenmengen auf Computerclustern.

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

8 / 11
Warum MapReduce?

Effiziente Verarbeitung großer Datenmengen
Einfache Benutzung (Fehlerbehandlung, Datenverteilung, etc.)

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

9 / 11
MapReduce

Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

10 / 11
Andreas Eisenkolb

Effiziente Verarbeitung von großen Datenmengen

January 7, 2014

11 / 11

Más contenido relacionado

Destacado

Aprendizaje Permanente -Bibliotecas
Aprendizaje Permanente -BibliotecasAprendizaje Permanente -Bibliotecas
Aprendizaje Permanente -BibliotecasReina Maza
 
Herramientas para crear tu startup online
Herramientas para crear tu startup onlineHerramientas para crear tu startup online
Herramientas para crear tu startup onlineDavid Mora Gandarillas
 
Scherptediepte03
Scherptediepte03Scherptediepte03
Scherptediepte03Faye
 
Iamcr final papert elsa deliyanni
Iamcr final papert  elsa deliyanniIamcr final papert  elsa deliyanni
Iamcr final papert elsa deliyanniElsa Deliyanni
 
Living Lab by George Bailey
Living Lab by George BaileyLiving Lab by George Bailey
Living Lab by George BaileyGeorge-Bailey
 
LATERAL IZQUIERDO
LATERAL IZQUIERDOLATERAL IZQUIERDO
LATERAL IZQUIERDOCoachjuan
 
Ingenieria agroecologica
Ingenieria agroecologicaIngenieria agroecologica
Ingenieria agroecologicaYeni Barrera
 
Tema soly la luna ide10217007presentacion2
Tema soly la luna ide10217007presentacion2Tema soly la luna ide10217007presentacion2
Tema soly la luna ide10217007presentacion2axeldeleon
 
La celula
La celulaLa celula
La celulaBETYVA
 

Destacado (13)

Ley de tierras (2)
Ley de tierras (2)Ley de tierras (2)
Ley de tierras (2)
 
Aprendizaje Permanente -Bibliotecas
Aprendizaje Permanente -BibliotecasAprendizaje Permanente -Bibliotecas
Aprendizaje Permanente -Bibliotecas
 
Herramientas para crear tu startup online
Herramientas para crear tu startup onlineHerramientas para crear tu startup online
Herramientas para crear tu startup online
 
Scherptediepte03
Scherptediepte03Scherptediepte03
Scherptediepte03
 
Sobrepostas
SobrepostasSobrepostas
Sobrepostas
 
Iamcr final papert elsa deliyanni
Iamcr final papert  elsa deliyanniIamcr final papert  elsa deliyanni
Iamcr final papert elsa deliyanni
 
Living Lab by George Bailey
Living Lab by George BaileyLiving Lab by George Bailey
Living Lab by George Bailey
 
LATERAL IZQUIERDO
LATERAL IZQUIERDOLATERAL IZQUIERDO
LATERAL IZQUIERDO
 
Ingenieria agroecologica
Ingenieria agroecologicaIngenieria agroecologica
Ingenieria agroecologica
 
Tema soly la luna ide10217007presentacion2
Tema soly la luna ide10217007presentacion2Tema soly la luna ide10217007presentacion2
Tema soly la luna ide10217007presentacion2
 
Martina alcholismo
Martina alcholismoMartina alcholismo
Martina alcholismo
 
La celula
La celulaLa celula
La celula
 
Gaby zambrano
Gaby zambranoGaby zambrano
Gaby zambrano
 

Más de Florian Stegmaier

Ansätze für gemeinschaftliches Filtering
Ansätze für gemeinschaftliches FilteringAnsätze für gemeinschaftliches Filtering
Ansätze für gemeinschaftliches FilteringFlorian Stegmaier
 
Fortschritte im Bereich Collaborative Filtering
Fortschritte im Bereich Collaborative FilteringFortschritte im Bereich Collaborative Filtering
Fortschritte im Bereich Collaborative FilteringFlorian Stegmaier
 
Realtime
 Distributed Analysis
 of Datastreams
Realtime
 Distributed Analysis
 of DatastreamsRealtime
 Distributed Analysis
 of Datastreams
Realtime
 Distributed Analysis
 of DatastreamsFlorian Stegmaier
 
Trust-based recommender systems
Trust-based recommender systemsTrust-based recommender systems
Trust-based recommender systemsFlorian Stegmaier
 
Trust und Interest Similarity und deren Anwendung für Empfehlungssysteme
Trust und Interest Similarity und deren Anwendung für EmpfehlungssystemeTrust und Interest Similarity und deren Anwendung für Empfehlungssysteme
Trust und Interest Similarity und deren Anwendung für EmpfehlungssystemeFlorian Stegmaier
 
Robustheit in Empfehlungssystemen
Robustheit in EmpfehlungssystemenRobustheit in Empfehlungssystemen
Robustheit in EmpfehlungssystemenFlorian Stegmaier
 
Linked Open Data als Basis für Empfehlungssysteme
Linked Open Data als Basis für EmpfehlungssystemeLinked Open Data als Basis für Empfehlungssysteme
Linked Open Data als Basis für EmpfehlungssystemeFlorian Stegmaier
 
Entscheidungshilfe: Recommender System
Entscheidungshilfe: Recommender SystemEntscheidungshilfe: Recommender System
Entscheidungshilfe: Recommender SystemFlorian Stegmaier
 
Funktionsweise und Ansätze von inhaltsbasiertem Filtern
Funktionsweise und Ansätze von inhaltsbasiertem FilternFunktionsweise und Ansätze von inhaltsbasiertem Filtern
Funktionsweise und Ansätze von inhaltsbasiertem FilternFlorian Stegmaier
 
Context Basierte Personalisierungsansätze
Context Basierte PersonalisierungsansätzeContext Basierte Personalisierungsansätze
Context Basierte PersonalisierungsansätzeFlorian Stegmaier
 
Evaluierung von Empfehlungssystemen
Evaluierung von EmpfehlungssystemenEvaluierung von Empfehlungssystemen
Evaluierung von EmpfehlungssystemenFlorian Stegmaier
 
Effiziente Verarbeitung von grossen Datenmengen
Effiziente Verarbeitung von grossen DatenmengenEffiziente Verarbeitung von grossen Datenmengen
Effiziente Verarbeitung von grossen DatenmengenFlorian Stegmaier
 
Introduction to the FP7 CODE project @ BDBC
Introduction to the FP7 CODE project @ BDBCIntroduction to the FP7 CODE project @ BDBC
Introduction to the FP7 CODE project @ BDBCFlorian Stegmaier
 
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...Florian Stegmaier
 
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...Florian Stegmaier
 

Más de Florian Stegmaier (16)

Ansätze für gemeinschaftliches Filtering
Ansätze für gemeinschaftliches FilteringAnsätze für gemeinschaftliches Filtering
Ansätze für gemeinschaftliches Filtering
 
Fortschritte im Bereich Collaborative Filtering
Fortschritte im Bereich Collaborative FilteringFortschritte im Bereich Collaborative Filtering
Fortschritte im Bereich Collaborative Filtering
 
Realtime
 Distributed Analysis
 of Datastreams
Realtime
 Distributed Analysis
 of DatastreamsRealtime
 Distributed Analysis
 of Datastreams
Realtime
 Distributed Analysis
 of Datastreams
 
Trust-based recommender systems
Trust-based recommender systemsTrust-based recommender systems
Trust-based recommender systems
 
Trust und Interest Similarity und deren Anwendung für Empfehlungssysteme
Trust und Interest Similarity und deren Anwendung für EmpfehlungssystemeTrust und Interest Similarity und deren Anwendung für Empfehlungssysteme
Trust und Interest Similarity und deren Anwendung für Empfehlungssysteme
 
Musikempfehlungssysteme
MusikempfehlungssystemeMusikempfehlungssysteme
Musikempfehlungssysteme
 
Robustheit in Empfehlungssystemen
Robustheit in EmpfehlungssystemenRobustheit in Empfehlungssystemen
Robustheit in Empfehlungssystemen
 
Linked Open Data als Basis für Empfehlungssysteme
Linked Open Data als Basis für EmpfehlungssystemeLinked Open Data als Basis für Empfehlungssysteme
Linked Open Data als Basis für Empfehlungssysteme
 
Entscheidungshilfe: Recommender System
Entscheidungshilfe: Recommender SystemEntscheidungshilfe: Recommender System
Entscheidungshilfe: Recommender System
 
Funktionsweise und Ansätze von inhaltsbasiertem Filtern
Funktionsweise und Ansätze von inhaltsbasiertem FilternFunktionsweise und Ansätze von inhaltsbasiertem Filtern
Funktionsweise und Ansätze von inhaltsbasiertem Filtern
 
Context Basierte Personalisierungsansätze
Context Basierte PersonalisierungsansätzeContext Basierte Personalisierungsansätze
Context Basierte Personalisierungsansätze
 
Evaluierung von Empfehlungssystemen
Evaluierung von EmpfehlungssystemenEvaluierung von Empfehlungssystemen
Evaluierung von Empfehlungssystemen
 
Effiziente Verarbeitung von grossen Datenmengen
Effiziente Verarbeitung von grossen DatenmengenEffiziente Verarbeitung von grossen Datenmengen
Effiziente Verarbeitung von grossen Datenmengen
 
Introduction to the FP7 CODE project @ BDBC
Introduction to the FP7 CODE project @ BDBCIntroduction to the FP7 CODE project @ BDBC
Introduction to the FP7 CODE project @ BDBC
 
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...
Generische Datenintegration zur semantischen Diagnoseunterstützung im Projekt...
 
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...
AIR: Architecture for Interoperable Retrieval on Distributed and Heterogeneou...
 

Effiziente Verarbeitung von großen Datenmengen

  • 1. Effiziente Verarbeitung von großen Datenmengen Andreas Eisenkolb January 7, 2014 Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 1 / 11
  • 2. Inhaltsverzeichnis 1 Big Data 2 MapReduce Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 2 / 11
  • 3. Big Data Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 3 / 11
  • 4. Big Data speichert ca. 2,5 Petabytes 1 Petabyte = 1 048 576 Gigabytes IBM Festplatten-Cluster speichert 20 Petabayte 1 1 Quelle: http://www.dailytech.com/article.aspx?newsid=22558 Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 4 / 11
  • 5. Was versteht man unter Big Data? Big Data Big Data bezeichnet große Datenmengen aus vielf¨ltigen Quellen, die mit a Hilfe neu entwickelter Methoden und Technologien erfasst, verteilt, gespeichert, durchsucht, analysiert und visualisiert werden k¨nnena . o a Wissenschaftliche Dienste des Deutschen Bundestages Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 5 / 11
  • 6. Big Data Challenge Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 6 / 11
  • 7. Die 4 ”Vs” von Big Data Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 7 / 11
  • 8. Was ist MapReduce? MapReduce MapReduce ist ein vom Unternehmen Google Inc. eingef¨hrtes u Programmiermodell f¨r nebenl¨ufige Berechnungen uber große u a ¨ Datenmengen auf Computerclustern. Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 8 / 11
  • 9. Warum MapReduce? Effiziente Verarbeitung großer Datenmengen Einfache Benutzung (Fehlerbehandlung, Datenverteilung, etc.) Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 9 / 11
  • 10. MapReduce Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 10 / 11
  • 11. Andreas Eisenkolb Effiziente Verarbeitung von großen Datenmengen January 7, 2014 11 / 11