Introducción a Apache Kafka con DotNetCore - Utilizado para el Meetup de la comunidad CSharpCo: https://www.meetup.com/es-ES/csharp-community/events/258086447/ https://youtu.be/W3JJ6eXoiuY

1. Camilo BernalCamilo Bernal
Curious and passionate developer
@Mr_Prometheus
/ColombianDeveloper
C# Community
CamiloBernal

2. And
C# Community

3. ¿Qué es Apache
Kafka?
C# Community
• Sistema de intermediación de mensajes basado en
el modelo publicador/suscriptor.
• Una plataforma unificada, de alto rendimiento y
de baja latencia para la manipulación en tiempo
real de fuentes de datos
• Un sistema de mensajes Open Source basado en
una arquitectura P2P (arquitectura Peer to Peer).
• Una plataforma de streaming distribuido que se
puede utilizar para compilar canalizaciones de
datos de streaming en tiempo real y aplicaciones.
• Escrito en Scala/Java

4. C# Community
Algo de
Historia…

5. Modelo
arquitectónico de
Apache Kafka
C# Community

6. ¿Cuándo elegir uno u otr
RabbitMQ es un agente de mensajes rápidos escrito en Erlang. Sus ricas
capacidades de enrutamiento y la capacidad de ofrecer reconocimientos por
mensaje son razones importantes para usarlo. RabbitMQ también
proporciona una interfaz web fácil de usar que puede usar para monitorear
su servidor RabbitMQ.
Sin embargo, cuando se trata de soportar grandes implementaciones, Kafka
se escala mucho mejor que RabbitMQ; todo lo que necesita hacer es agregar
más particiones. También se debe tener en cuenta que los clústeres
RabbitMQ no tolera particiones de red. Si planea agrupar servidores
RabbitMQ, debe usar federaciones.
Kafka también supera claramente a RabbitMQ en el rendimiento. Una sola
instancia de Kafka puede manejar 100K mensajes por segundo, en
comparación con 20K mensajes por segundo para RabbitMQ.
Kafka también es una buena opción cuando desea transmitir mensajes con

7. Coordinador de procesos distribuidos
Gestión de configuración
Consenso
Bloqueos
Monitoreo
C# Community

8. ¿Quiénes utilizan
Apache Kafka?
C# Community

9. KSQLhttps://www.confluent.io/product/ksql/
Streaming SQL For
Apache Kafka
Motor de streaming open-source
distribuido y en real-time sobre Apache
Kafka que permite programar los
streams en SQL, evitando la
programación de código (Tradicional).
Fuente: https://unpocodejava.com/2018/03/28/un-poco-de-ksql-streaming-sql-for-apache-kafka/
C# Community

10. Algunos casos de
IoT
HDfs
Mensajería
Telemetría
Logging
Stream Processing
Everything your imagination allows…
C# Community

11. https://azure.microsoft.com/en-us/resources/videos/introducing-
apache-kafka-on-azure-hdinsight/
https://docs.microsoft.com/es-es/azure/hdinsight/kafka/apache-kafka-
introduction
https://azure.microsoft.com/en-us/blog/announcing-the-general-
availability-of-azure-event-hubs-for-apache-kafka/
Azure HDInsight Azure Event Hub
C# Community

12. Sitio oficial de Apache Kafka:
https://kafka.apache.org/
Sitio oficial de Confluent:
https://www.confluent.io/
El mejor tutorial de Kafka (Inglés):
https://data-flair.training/blogs/apache-kafka-tutorial/
Tutorial de Kafka en español (Victor Madrid):
https://enmilocalfunciona.io/aprendiendo-apache-kafka-parte-1/
https://enmilocalfunciona.io/aprendiendo-apache-kafka-parte-2-2/
https://enmilocalfunciona.io/aprendiendo-apache-kafka-parte-3-conceptos-ba
https://enmilocalfunciona.io/aprendiendo-apache-kafka-parte-4/
C# Community

13. DEMO

14. http://www.CSharpCommunity.org
@CsharpCo
/CSharpCo
/CSharpCommunity
C# Community