StreamThoughts
coming soon

Kafka Connect : Intégrer vos données sous forme de flux d'événements temps-réel

Prix : 650 € HT - par participant

Pour plus d'informations sur cette formation, veuillez contacter :
training@streamthoughts.io

Description

Pendant cet atelier d'une journé vous aurez l'occasion d’apprendre en détails le fonctionnement du Framework Apache Kafka Connect. Nous présenterons et discuterons des usages, des concepts d'architecture et des APIs Java pour développer vos propres connecteurs d’intégration de données.

Objectifs du cours

Vous apprendrez à utiliser, à configurer et à déployer la solution Kafka Connect afin d’intégrer vos données sous forme de flux d’événements temps-réel. Vous apprendrez à implémenter vos propres connecteurs d'intégration de données. Vous discuterez aussi des bonnes pratiques de développement et de déploiement des connecteurs Kafka.

Pédagogie

60% théorie, 40% pratique

Qui Peut Participer ?

Cet atelier est destiné aux Développeurs, aux Architectes et aux Data Ingénieurs qui ont besoin de créer des pipelines d'intégration de données, en temps réel, à travers Apache Kafka.

Durée

1 Jour

Pré-requis

Les participants doivent être familiarisés avec le développement en Java. Les participants doivent également connaître les concepts de base d’Apache Kafka.

Programme

1) Introduction

Les motivations
Qu’est-ce Kafka Connect ?
Quels sont les usages ?
L’écosystème
Avantages & Inconvénients

2) Concepts et Architectures

Les types de connecteurs: Source & Sink
Kafka Connect Cluster: Workers & Tasks
Les formats de messages: Les Converters
La transformation de données : Single Message Transforms (SMTs)
Le concept de plugins
Les garanties de traitement

3) Gestion et déploiement des connecteurs

Les modèles de déploiements : Standalone & Distributed
L’API REST
La configuration
La gestion des plugins
Cluster mutualisé ou dédié

4) Intégration de données

Intégrer des données depuis des fichiers : SpoolDir et FilePulse
Capturer les changements d’une base de données : Data sourcing et Change Data Capture
Introduction à Kafka Connect JDBC
Introduction à Debezium

5) Développer des connecteurs

Les principales interfaces JAVA
Le modèle et les schémas de données
La gestion des offsets
Développer des “Transformers”
Les extensions RESTs
Les bonnes pratiques

6) La Gestion des erreurs

Dead Letter Queues

7) Sécurité

Les mécanismes d’authentifications
Les ACLs
Externalisation de la configuration

8) Monitoring et Outils