StreamThoughts
coming soon

Kafka Connect : Intégrer vos données sous forme de flux d'événements temps-réel

Prix : 650€ H.T. - par participant

Pour plus d'informations sur cette formation, veuillez contacter :
training@streamthoughts.io

Description

Ce cours de 1 jours apprend aux participants le fonctionnement du Framework Apache Kafka Connect. Nous présenterons et discuterons des usages, des concepts d'architecture et des APIs Java pour développer vos propres connecteurs d’intégration de données.

Objectifs du cours

Vous apprendrez à utiliser, à configurer et à déployer la solution Kafka Connect afin d’intégrer vos données sous forme de flux d’événements temps-réel. Vous apprendrez à implémenter vos propres connecteurs d'intégration de données. Vous discuterez aussi des bonnes pratiques de développement et de déploiement des connecteurs Kafka.

Pédagogie

60% théorie, 40% pratique

Qui Peut Participer ?

Cet atelier est destiné aux Développeurs, aux Architectes et aux Data Ingénieurs qui ont besoin de créer des pipelines d'intégration de données, en temps réel, à travers Apache Kafka.

Durée

1 Jours

Pré-requis

Les participants doivent être familiarisés avec le développement en Java. Les participants doivent également connaître les concepts de base d’Apache Kafka.

Programme

1) Introduction

Les motivations
Qu’est-ce Kafka Connect ?
Quels sont les usages ?
L’écosystème
Avantages & Inconvénients

2) Concepts et Architectures

Les types de connecteurs: Source & Sink
Kafka Connect Cluster: Workers & Tasks
Les formats de messages: Les Converters
La transformation de données : Single Message Transforms (SMTs)
Le concept de plugins
Les garanties de traitement

3) Gestion et déploiement des connecteurs

Les modèles de déploiements : Standalone & Distributed
L’API REST
La configuration
La gestion des plugins
Cluster mutualisé ou dédié

4) Intégration de données

Intégrer des données depuis des fichiers : SpoolDir et FilePulse
Capturer les changements d’une base de données : Data sourcing et Change Data Capture
Introduction à Kafka Connect JDBC
Introduction à Debezium

5) Développer des connecteurs

Les principales interfaces JAVA
Le modèle et les schémas de données
La gestion des offsets
Développer des “Transformers”
Les extensions RESTs
Les bonnes pratiques

6) La Gestion des erreurs

Dead Letter Queues

7) Sécurité

Les mécanismes d’authentifications
Les ACLs
Externalisation de la configuration

8) Monitoring et Outils

The Author's Avatar
formateur référent

Florian travaille depuis plus de 8 ans dans le conseil, il est co-fondateur et CEO de StreamThoughts. Passionné par les systèmes distribués, il se spécialise dans les technologies d’event-streaming comme Apache Kafka, Apache Pulsar. Aujourd’hui, il accompagne les entreprises dans leur transition vers les architectures orientées streaming d’événements. Florian est certifié Confluent Administrator & Developer pour Apache Kafka. Il est nommé deux années consécutive (2019 et 2020) “Confluent Community Catalyst” pour ses contributions sur le projet Apache Kafka Streams et son implication dans la communauté open-source. Il fait partie des organisateurs du Paris Apache Kafka Meetup.