Практический курс, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming.
· Экосистема EDP: Arenadata Streaming, Arenadata Hadoop, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
· Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft).
· Arenadata Streaming Control.
· Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, KRaft, Apache Kafka, Apache NiFi.
· Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
· Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
· Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
· Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
· Мониторинг ADS (Graphite + Grafana): архитектура кластера мониторинга.
· Мониторинг ADS (Prometheus+Grafana): архитектура сервиса мониторинга.
Модуль 3. Архитектура и инструменты Apache Kafka.
· Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
· Topics Kafka:
o основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
o AdminClient API. Примеры программного использования.
· Гарантии надежности Kafka (доставка/потребление).
· Producers Kafka:
o Запись сообщений в Kafka, console Producer.
o Настройка Producers.
o Producer API. Пример настройки Auth.
· Consumers Kafka:
o Чтение данных из Kafka, console consumer.
o Сonsumer groups, ребалансировка разделов.
o Настройка Consumers.
o Consumer API. Пример настройки Auth.
· Изменение параметров Topics, consumer groups, Partitions.
Модуль 4. Kafka Streams.
· KStreams API DSL: KStream, KTable, GlobalKTable.
· Processor API.
· Kafka Streams & Spring Boot.
Модуль 5. Kafka Connect.
· Основные понятия и инструменты.
· FileStream Connectors (sink/source).
· JDBC Connector (sink/source), Iceberg Sink.
· CDC Debezium, (JDBC sink).
· Kafka ADB Connectors. Демо.
· Создание собственного коннектора.
· SMT (Single Message Transforms) Debezium Transformation/собственный класс трансформации.
Модуль 6. Kafka REST Proxy.
· Основные операции и примеры использования.
Модуль 7. ksqlDB.
· Основные возможности и примеры использования.
· Управление потоками.
Модуль 8. Schema Registry.
· Сериализация и десериализация данных.
· Операции со схемами. REST API.
Модуль 9. Arenadata Streaming Control (ADS Control).
· Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
Итоговое тестирование.
Раздел не найден.
© 2025 
