Aller au contenu principal

Apache Kafka

Overview​

Apache Kafka, c'est la plateforme de streaming d'événements distribuée qui pense que gérer des millions de messages par seconde, c'est normal. Conçue pour le traitement en temps réel de flux de données à grande échelle, elle offre un système de messaging pub/sub distribué, avec persistance des messages, scalabilité horizontale, et haute disponibilité. Si tu veux du streaming d'événements, des logs d'application, ou de l'intégration de systèmes, c'est un choix naturel.

Kafka se distingue par sa capacité à gérer des millions de messages par seconde (c'est rapide, pas de blabla), sa durabilité (les messages ne sont pas perdus), et son rôle central dans l'écosystème de streaming d'événements (c'est le standard, tout le monde l'utilise).

Informations essentielles​

PropriétéValeur
Site officielhttps://kafka.apache.org
LicenceApache 2.0
NationalitéInternational (Apache Software Foundation)
DéploiementCluster distribué
DifficultéIntermédiaire à avancé
TechnologiesJava, Scala

TL;DR​

Kafka est idéal pour le streaming d'événements à grande échelle, l'intégration de systèmes, et le traitement en temps réel de flux de données.

Points clés à retenir :

  • Plateforme de streaming d'événements distribuée
  • Capacité à gérer des millions de messages/seconde
  • Durabilité et persistance des messages
  • Scalabilité horizontale
  • Écosystème riche (Kafka Connect, Kafka Streams)

Compatibilité et intégrations​

  • Compatible avec Linux, macOS, Windows
  • Clients disponibles pour la plupart des langages
  • Intégration avec écosystème Big Data (Hadoop, Spark, Flink)
  • Kafka Connect pour intégrations
  • Kafka Streams pour traitement en temps réel

Avantages​

  • Capacité à gérer des millions de messages/seconde
  • Durabilité et persistance des messages
  • Scalabilité horizontale
  • Écosystème riche (Connect, Streams)
  • Large adoption et communauté

Limites​

  • Configuration peut être complexe
  • Courbe d'apprentissage pour les concepts avancés
  • Consommation ressources peut être élevée
  • Opération peut être complexe pour clusters

Ressources​