El dato tiene forma y la forma significado - Josep Curto
•Descargar como PPTX, PDF•
1 recomendación•203 vistas
Una organización sin algoritmos y datos no puede competir con una que los usa.
Recomendados
Recomendados
Más contenido relacionado
Más de Big-Data-Summit
Más de Big-Data-Summit (20)
Último
Último (15)
El dato tiene forma y la forma significado - Josep Curto
- 1. El dato tiene forma y la forma, significado Josep Curto CEO, Delfos Research | Director Académico, Master Big Data y BI, UOC @josepcurto, 2018
- 2. 2 Me presento • CEO, Delfos Research • Director Académico, Master Big Data y BI, UOC • Advisor, Institute of Passion • Autor de multiples artículos y libros @josepcurto, 2018
- 3. 3 ¿Qué significa que el dato tiene forma? @josepcurto, 2018
- 6. 6 Dejádme hacer un juego. Esto es una hoja de papel… @josepcurto, 2018
- 9. 9 Lo que hacemos @josepcurto, 2018
- 10. 10 ¿Y si fueramos capaces de descubrir todas las historias? @josepcurto, 2018
- 11. 11 El dato tiene forma, y la forma significado @josepcurto, 2018
- 12. 12 Introducción breve a TDA (I) @josepcurto, 2018
- 13. 13 Introducción breve a TDA (II) @josepcurto, 2018
- 14. 14 Introducción breve a TDA (III) @josepcurto, 2018
- 15. 15 Introducción breve a TDA (IV) @josepcurto, 2018
- 16. 16 Pasos para desplagar TDA Datos Métricas y lentes Recubrimiento Imagen de la inversa del clúster Aristas y nodos Visualización grafo @josepcurto, 2018
- 17. 17 If TDA es tan fantástica, por qué no la estamos usando? @josepcurto, 2018
- 18. 18 Datos Originales Datos formateados [100,480,507:3] 300 millones de elementos [17,770:480,189] 8.5 billones de elementos @josepcurto, 2018
- 19. 19 Split dataset in buckets by range of movie_ids Pivot each data bucket (rows: movies, columns: users) … … Perform serial executions of PCA on each batch using previously learned PCA vectors Merging batches in whole dataset Learn PCA coefficients on random subset Alguna idea? Divide y venceras @josepcurto, 2018
- 22. 22 IFFT @Novak and Hoffman, 2015 @josepcurto, 2018
- 23. 23 Sensor Activities @Novak and Hoffman, 2015 @josepcurto, 2018
- 24. 24 Yelp @Datarefiner, 2015 Cluster characteristics: • More than 35 check-ins everyday at 10:00 • Less than 17 check-ins everyday at 15:00 • Most has category “Breakfast and brunch” @josepcurto, 2018
- 26. 26 Una organización sin algoritmos y datos no puede competir con una que los usa @josepcurto, 2018
- 29. Gracias! Josep Curto | @josepcurto | josep.curto@delfosresearch.com
Notas del editor
- Predictive Analytics approach: Fit predictive models to the data. But the complexity of the data means hypothesis testing is often challenging. We need to know what questions to ask. Are we asking the right questions? With big data, insights can be slow. Conventional approaches for reduction and visualization: Use linear and nonlinear dimension reduction techniques such as PCA, MCA, and MDS. But, even if they work, are sensitive to distance metrics and do not preserve topological structures of the data. Data-Driven Discovery Approach: Hypothesis-free approach based on computational topology to qualitatively analyze functions on very high-dimensional data and visualize the data structure in low- dimensional topological spaces. Topological data analysis (TDA) reveals structures in the data that have invariant properties and can propel insight and improve hypothesis-generation and predictive modeling; “digital serendipity” (Singh 2013).
- TDA draws on theory of topological spaces and simplicial complexes (algebraic topology); implementation invokes computational topology (computational geometry, computational complexity theory, and computer science) – e.g. see Carlsson 2009; Lum, et.al. 2012; Singh, Memoli and Carlsson 2007. TDA applies a function (lens) to a data set and builds a compressed summary of the data. A visual network of nodes (representing data points) connected by edges is created using four types of parameters: Metric (measure of similarity) Lenses (functions on the data) Bin resolution Bin overlap Metrics: correlation, Euclidean distance, cosine, hamming, categorical cosine, user-defined... Functions: mean, variance, density, centrality, PCA, MDS, user-defined... Supervised Machine Learning Models: TDA of machine learning outputs with outcome variables can enhance models through discovery of systematic error and construction of local models as opposed to a single global model
- https://arxiv.org/abs/1710.04019 http://www.win.tue.nl/SoCG2015/wp-content/uploads/tutorials/150623_presentation_2.pdf https://www.r-bloggers.com/topological-data-analysis-with-r/