Kafka Connect

Intégrer vos données sous forme de flux d'événements temps-réel

Prix : 650€ H.T. - par participant

Pour plus d'informations sur cette formation, veuillez contacter :
training@streamthoughts.io

Description

Ce cours de 1 jours apprend aux participants le fonctionnement du Framework Apache Kafka Connect. Nous présenterons et discuterons des usages, des concepts d'architecture et des APIs Java pour développer vos propres connecteurs d’intégration de données.

Objectifs du cours

Ce cours permet aux participants d'acquerir les compétences suivante :

Apprendre à utiliser, à configurer et à déployer la solution Kafka Connect.
Intégrer des données sous forme de flux d’événements temps-réel.
Implémenter des connecteurs d'intégration de données.
Comprendre les bonnes pratiques de développement et de déploiement des connecteurs Kafka.

Pédagogie

60% théorie, 40% pratique

Qui Peut Participer ?

Cet atelier est destiné aux Développeurs, aux Architectes et aux Data Ingénieurs qui ont besoin de créer des pipelines d'intégration de données, en temps réel, à travers Apache Kafka.

Durée

1 Jour

Pré-requis

Les participants doivent être familiarisés avec le développement en Java. Les participants doivent également connaître les concepts de base d’Apache Kafka.

Programme de formation

Module 1 : Introduction

Les motivations
Qu’est-ce Kafka Connect ?
Quels sont les usages ?
L’écosystème
Avantages & Inconvénients

Module 2 : Concepts et Architectures

Les types de connecteurs: Source & Sink
Kafka Connect Cluster: Workers & Tasks
Les formats de messages: Les Converters
La transformation de données : Single Message Transforms (SMTs)
Le concept de plugins
Les garanties de traitement

Module 3 : Gestion et déploiement des connecteurs

Les modèles de déploiements : Standalone & Distributed
L’API REST
La configuration
La gestion des plugins
Cluster mutualisé ou dédié

Module 4 : Intégration de données

Intégrer des données depuis des fichiers : SpoolDir et FilePulse
Capturer les changements d’une base de données : Data sourcing et Change Data Capture
Introduction à Kafka Connect JDBC
Introduction à Debezium

Module 5 : Développer des connecteurs

Les principales interfaces JAVA
Le modèle et les schémas de données
La gestion des offsets
Développer des “Transformers”
Les extensions RESTs
Les bonnes pratiques

Module 6 : La Gestion des erreurs

Dead Letter Queues

Module 7 : Sécurité

Les mécanismes d’authentifications
Les ACLs
Externalisation de la configuration

Module 8 : Monitoring et Outils

formateur référent

Florian Hussonnois

Florian travaille depuis plus de 8 ans dans le conseil, il est co-fondateur et CEO de StreamThoughts. Au cours de sa carrière, il a travaillé sur divers projets impliquant la mise en oeuvre de plateformes d’intégration et de traitement de la data à travers les mondes technologiques de Hadoop et de Spark. Passionné par les systèmes distribués, il se spécialise dans les technologies d’event-streaming comme Apache Kafka, Apache Pulsar. Aujourd’hui, il accompagne les entreprises dans leur transition vers les architectures orientées streaming d’événements. Florian est certifié Confluent Administrator & Developer pour Apache Kafka. Il est nommé deux années consécutive (2019 et 2020) “Confluent Community Catalyst” pour ses contributions sur le projet Apache Kafka Streams et son implication dans la communauté open-source. Il fait partie des organisateurs du Paris Apache Kafka Meetup.