StreamThoughts
coming soon

Kafka Connect

Intégrer vos données sous forme de flux d'événements temps-réel

Prix : 650€ H.T. - par participant

Pour plus d'informations sur cette formation, veuillez contacter :
training@streamthoughts.io

Description

Ce cours de 1 jours apprend aux participants le fonctionnement du Framework Apache Kafka Connect. Nous présenterons et discuterons des usages, des concepts d'architecture et des APIs Java pour développer vos propres connecteurs d’intégration de données.

Objectifs du cours

Ce cours permet aux participants d'acquerir les compétences suivante :

  • Apprendre à utiliser, à configurer et à déployer la solution Kafka Connect.
  • Intégrer des données sous forme de flux d’événements temps-réel.
  • Implémenter des connecteurs d'intégration de données.
  • Comprendre les bonnes pratiques de développement et de déploiement des connecteurs Kafka.

    Pédagogie

    60% théorie, 40% pratique

    Qui Peut Participer ?

    Cet atelier est destiné aux Développeurs, aux Architectes et aux Data Ingénieurs qui ont besoin de créer des pipelines d'intégration de données, en temps réel, à travers Apache Kafka.

    Durée

    1 Jour

    Pré-requis

    Les participants doivent être familiarisés avec le développement en Java. Les participants doivent également connaître les concepts de base d’Apache Kafka.

    Programme de formation

    Module 1 : Introduction

    • Les motivations
    • Qu’est-ce Kafka Connect ?
    • Quels sont les usages ?
    • L’écosystème
    • Avantages & Inconvénients

    Module 2 : Concepts et Architectures

    • Les types de connecteurs: Source & Sink
    • Kafka Connect Cluster: Workers & Tasks
    • Les formats de messages: Les Converters
    • La transformation de données : Single Message Transforms (SMTs)
    • Le concept de plugins
    • Les garanties de traitement

    Module 3 : Gestion et déploiement des connecteurs

    • Les modèles de déploiements : Standalone & Distributed
    • L’API REST
    • La configuration
    • La gestion des plugins
    • Cluster mutualisé ou dédié

    Module 4 : Intégration de données

    • Intégrer des données depuis des fichiers : SpoolDir et FilePulse
    • Capturer les changements d’une base de données : Data sourcing et Change Data Capture
    • Introduction à Kafka Connect JDBC
    • Introduction à Debezium

    Module 5 : Développer des connecteurs

    • Les principales interfaces JAVA
    • Le modèle et les schémas de données
    • La gestion des offsets
    • Développer des “Transformers”
    • Les extensions RESTs
    • Les bonnes pratiques

    Module 6 : La Gestion des erreurs

    • Dead Letter Queues

    Module 7 : Sécurité

    • Les mécanismes d’authentifications
    • Les ACLs
    • Externalisation de la configuration

    Module 8 : Monitoring et Outils

    The Author's Avatar
    formateur référent

    Florian travaille depuis plus de 8 ans dans le conseil, il est co-fondateur et CEO de StreamThoughts. Au cours de sa carrière, il a travaillé sur divers projets impliquant la mise en oeuvre de plateformes d’intégration et de traitement de la data à travers les mondes technologiques de Hadoop et de Spark. Passionné par les systèmes distribués, il se spécialise dans les technologies d’event-streaming comme Apache Kafka, Apache Pulsar. Aujourd’hui, il accompagne les entreprises dans leur transition vers les architectures orientées streaming d’événements. Florian est certifié Confluent Administrator & Developer pour Apache Kafka. Il est nommé deux années consécutive (2019 et 2020) “Confluent Community Catalyst” pour ses contributions sur le projet Apache Kafka Streams et son implication dans la communauté open-source. Il fait partie des organisateurs du Paris Apache Kafka Meetup.