De nos jours, il est facile de dire que presque tout ce que nous faisons, tout ce que nous utilisons, et même tout ce qui nous entoure est capable de produire de la data. Mais ce qui est d’autant plus vrai, c’est que cette data est produi...

Cet article est le troisième de la série “Streaming data into Kafka “. Dans les deux premiers, nous avons vu comment utiliser Kafka Connect pour charger des données depuis des fichiers CSV et XML dans Apache Kafka, sans avoir à écrire une...

Dans le précédent article Streaming data into Kafka S01/E01- Loading CSV file, Nous avons vu comment il pouvait-être facile d’intégrer des données dans Apache Kafka en utilisant le framework Kafka Connect. Plus particulièrement, nous avons vu c...

L’ingestion de fichiers de données dans Apache Kafka est une tâche très courante dès lors que l’on implémente une plateforme de streaming. Parmi les différents formats de fichiers que nous pouvons trouver, le format CSV est probablement l...

Récemment chez StreamThoughts, nous nous sommes intéressés à différentes solutions open-source de bases de données, de type OLAP, que nous pourrions expérimenter rapidement dans une architecture de streaming basée sur la plateforme Apache Kafka. Notr...

La plupart des projets sur lesquels j’ai eu l’occasion de travailler pendant ces dernières années, ont consisté à ingérer des données dans des systèmes tels que Apache Kafka® et Apache Hadoop® pour effectuer des traitements et des enrichi...

Nous avons le plaisir de vous annoncer la version 0.5.0 du projet AzkarraStreams. Cette version comprend non seulement de nouvelles fonctionnalités importantes, mais aussi quelques changements au niveau des APIs publiques. Lorsque nous avons démarré...

Kafka Streams est une librairie Java/Scala permettant de développer des applications, orientées microservices, de type stream-processing basées sur Apache Kafka. Lors du développement d’une application KafkaStreams, les développeurs doivent non...

Cet article est disponible en anglais sur : Medium Kafka Streams est une librairie très efficace pour développer des applications complexes de stream-processing basées sur Apache Kafka. Cependant, avec le temps et après plusieurs projets, nous avons...

Cet article est disponible en anglais sur : Medium Dans un précédent article, j’ai présenté le fonctionnement du protocole de “Rebalance” d’Apache Kafka et la manière dont il est utilisé en interne. Du point de vue des consume...

Cet article est disponible en anglais sur : Medium Les personnes qui me connaissent savent que je suis un fan inconditionnel d’Apache Kafka depuis longtemps, et il en est peut-être de même pour vous. Mais en tant que consultant, je me dois de g...

Cet article est disponible en anglais sur : Medium Depuis Apache Kafka 2.3.0, le protocole interne de Rebalancing, qui est particulièrement utilisé par Kafka Connect et l’API Client Consumer, a subi plusieurs changements majeurs. Le protocole d...