engineeringMesurer tout "objet" à grande échelle! Une introduction aux séries temporelles avec M3Florian Hussonnois23 sept.2020 16 minutesDe nos jours, il est facile de dire que presque tout ce que nous faisons, tout ce que nous utilisons, et même tout ce qui nous entoure est capable de produire de la data. Mais ce qui est d’autant plus vrai, c’est que cette data est produi...
engineeringStreaming data into Kafka series: S01/E03 - Loading JSON fileFlorian Hussonnois10 sept.2020 7 minutesCet article est le troisième de la série “Streaming data into Kafka “. Dans les deux premiers, nous avons vu comment utiliser Kafka Connect pour charger des données depuis des fichiers CSV et XML dans Apache Kafka, sans avoir à écrire une...
engineeringStreaming data into Kafka series: S01/E02 - Loading XML fileFlorian Hussonnois19 août.2020 9 minutesDans le précédent article Streaming data into Kafka S01/E01- Loading CSV file, Nous avons vu comment il pouvait-être facile d’intégrer des données dans Apache Kafka en utilisant le framework Kafka Connect. Plus particulièrement, nous avons vu c...
engineeringStreaming data into Kafka series: S01/E01 - Loading CSV fileFlorian Hussonnois13 août.2020 8 minutesL’ingestion de fichiers de données dans Apache Kafka est une tâche très courante dès lors que l’on implémente une plateforme de streaming. Parmi les différents formats de fichiers que nous pouvons trouver, le format CSV est probablement l...
engineeringCréer une plateforme analytique temps-réel avec Kafka, ksqlDB et ClickHouseFlorian Hussonnois2 juin.2020 18 minutesRécemment chez StreamThoughts, nous nous sommes intéressés à différentes solutions open-source de bases de données, de type OLAP, que nous pourrions expérimenter rapidement dans une architecture de streaming basée sur la plateforme Apache Kafka. Notr...
open-sourceKafka Connect FilePulse - Un connecteur pour tous les ingérer!Florian Hussonnois26 jan.2020 14 minutesLa plupart des projets sur lesquels j’ai eu l’occasion de travailler pendant ces dernières années, ont consisté à ingérer des données dans des systèmes tels que Apache Kafka® et Apache Hadoop® pour effectuer des traitements et des enrichi...
newsAzkarra Streams v0.5: Les nouvelles fonctionnalitésFlorian Hussonnois7 jan.2020 5 minutesNous avons le plaisir de vous annoncer la version 0.5.0 du projet AzkarraStreams. Cette version comprend non seulement de nouvelles fonctionnalités importantes, mais aussi quelques changements au niveau des APIs publiques. Lorsque nous avons démarré...
engineeringCréer des applications Kafka Streams plus rapidement que jamais avec Azkarra StreamsFlorian Hussonnois6 jan.2020 7 minutesKafka Streams est une librairie Java/Scala permettant de développer des applications, orientées microservices, de type stream-processing basées sur Apache Kafka. Lors du développement d’une application KafkaStreams, les développeurs doivent non...
open-sourcePrésentation de Azkarra Streams: Le micro-framework dédié à Kafka StreamsFlorian Hussonnois27 nov.2019 11 minutesCet article est disponible en anglais sur : Medium Kafka Streams est une librairie très efficace pour développer des applications complexes de stream-processing basées sur Apache Kafka. Cependant, avec le temps et après plusieurs projets, nous avons...
engineeringApache Kafka - Comprendre et implémenter des stratégies d'assignation des partitionsFlorian Hussonnois20 nov.2019 11 minutesCet article est disponible en anglais sur : Medium Dans un précédent article, j’ai présenté le fonctionnement du protocole de “Rebalance” d’Apache Kafka et la manière dont il est utilisé en interne. Du point de vue des consume...
engineeringIntroduction à Apache Pulsar - Concepts, Architecture et API JavaFlorian Hussonnois12 nov.2019 19 minutesCet article est disponible en anglais sur : Medium Les personnes qui me connaissent savent que je suis un fan inconditionnel d’Apache Kafka depuis longtemps, et il en est peut-être de même pour vous. Mais en tant que consultant, je me dois de g...
engineeringApache Kafka Rebalance Protocol: La magie qui se cache derrière votre application de streamingFlorian Hussonnois5 nov.2019 17 minutesCet article est disponible en anglais sur : Medium Depuis Apache Kafka 2.3.0, le protocole interne de Rebalancing, qui est particulièrement utilisé par Kafka Connect et l’API Client Consumer, a subi plusieurs changements majeurs. Le protocole d...