Эксплуатация Arenadata Streaming

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming.

·        Экосистема EDP: Arenadata Streaming, Arenadata Hadoop, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.

·        Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).

·        Arenadata Streaming Control.

·        Arenadata Platform Security. 

 

Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi.

·        Планирование кластера.

·        Настройка параметров окружения.

·        Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.

·        Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).

·        Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.

 

Модуль 3. Архитектура и инструменты Apache Kafka.

·        Базовые концепции и объекты Kafka.

·        Topics Kafka.

·        Zookeeper. Выбор лидера.

·        Producers Kafka.

·        Consumers Kafka.

 

Модуль 4. Kafka Connect.

·        Основные понятия и инструменты.

·        FileStream Connectors.

 

Модуль 5. Kafka REST Proxy, ksqlDB.

·        Основные возможности и примеры использования.

 

Модуль 6. Мультикластерные архитектуры.

·        Топология мультикластерной репликации.

·        Настройка MirrorMaker, Mirror Connectors.

 

Модуль 7. Архитектура и инструменты Apache NiFi.

·        Обзор Apache NiFi.

·        Создание, настройка и управление процессорами, процессорными группами.

·        Flow Files и атрибуты.

·        Подключение источников (File, Apache Kafka, СУБД (ADB)).

·        FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

 

Модуль 8. Администрирование и эксплуатация Apache NiFi.

·        Инструменты мониторинга и администрирования.

·        Горизонтальное масштабирование и отказоустойчивость NiFi.

·        Управление репликацией и балансировкой нагрузки.

·        Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

 

Модуль 9. Arenadata Streaming Control (ADS Control).

·        Планирование кластера, настройка параметров окружения и установка, обзор UI.

·        Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).

 

Модуль 10. Управление информационной безопасностью кластера ADS.

·        Установка и настройка Arenadata Platform Security (ADPS).

·        Керберизация ADS/ADPS с MS Active Directory. Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров.

·        Настройка LDAP sync source для Ranger User synchronizer.

·        Настройка LDAP/AD auth для Ranger Admin.

·        Присоединение узлов к Active Directory (SSSD/realmd).

·        Настройка SSL ADS и ADPS.

·        Настройка авторизации.

 

Итоговое тестирование.