Эксплуатация Arenadata Streaming (NiFi)

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

• Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager
• Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)
• Arenadata Streaming Control
• Arenadata Platform Security

Модуль 2

Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

• Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
• Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
• Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
• Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
• Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.

Модуль 3

Архитектура и инструменты Apache NiFi

• Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение
• Создание, настройка и управление процессорами, процессорными группами.
• Flow Files и атрибуты.
• Подключение источников (File, Apache Kafka, СУБД)
• FlowFile Repository, Content Repository, Provenance Repository: детальное изучение

Модуль 4

Администрирование и эксплуатация Apache NiFi

• Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).
• Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.
• Управление репликацией и Метадата-driven подход.
• Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

Модуль 5

Работа с данными и маршрутизация в Apache NiFi

• Использование процессоров для обработки данных.
• Шаблоны маршрутизации.
• Основы Expression Language.

Модуль 6

Управление информационной безопасностью кластера ADS (NiFi)

• Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
• Керберизация ADS/ADPS с MS Active Directory.
• Настройка LDAP sync source для Ranger User synchronizer.
• Настройка LDAP/AD auth для Ranger Admin.
• Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
• Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Парметры безопасности процессоров.