Основы работы с Apache NiFi на базе платформы Arenadata Streaming

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

• Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
• Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
• Arenadata Streaming Control.
• Arenadata Platform Security.

Модуль 2

Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

• Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
• Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.
• Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
• Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
• Мониторинг ADS Prometheus: архитектура сервиса/кластера мониторинга. Лабораторная работа.
• Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.

Модуль 3

Архитектура и инструменты Apache Kafka

• Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
• Topics Kafka:
1. Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
2. Настройка программных инструментов: Java IDE (IntelliJ IDEA CE, OpenIDE), Build Tool (Apache Maven).
3. AdminClient API. Примеры программного использования. Лабораторная работа.
• Гарантии надежности Kafka (доставка/потребление).
• Контроллер Kafka. ZooKeeper/KRaft.
• Producers Kafka:
1. Запись сообщений в Kafka, console Producer.
2. Настройка Producers.
3. Producer API. Пример настройки Auth.
• Consumers Kafka:
1. Сonsumer groups, ребалансировка разделов.
2. Настройка Consumers.
3. Consumer API. Пример настройки Auth.
• Schema Registry:
1. Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
• Kafka REST Proxy:
1. Основные возможности и примеры использования.

Модуль 4

Kafka Connect

• Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
• Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
• Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.
• CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.
• SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.

Модуль 5

ksqlDB

• Основные возможности и примеры использования. Управление потоками.

Модуль 6

Kafka Streaming API

• Основные понятия, архитектура и инструменты.
• Пример приложения Kafka Streams c использованием SpringBoot API (Java).