Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты

Модуль 1. Введение в экосистему Hadoop

·        История возникновения Hadoop:

o   Понятия Big Data, Data Lake, Data Warehouse, Data Lakehouse.

o   Arenadata Hyperwave. Ключевые отличия от прошлых версий.

o   История проекта.

o   Основные компоненты и экосистема.

·        Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, ZooKeeper, Impala, Trino, Ozone, HUE, Kyuubi.

·        Дистрибутивы Hadoop:

o   Проект ODPi. Arenadata Hyperwave.

o   Проект Ambari. Arenadata Cluster Manager.

·        Архитектура кластера Hadoop:

o   HDFS. YARN. Ozone.

o   Отказоустойчивость.

 

Модуль 2. Подготовка окружения к установке Arenadata Hyperwave

·        Планирование кластера:

o   Типы узлов. Профили нагрузки.

o   Аппаратное обеспечение. Примеры кластеров.

·        Настройка параметров окружения:

o   Подготовка к установке.

o   Настройка сети и DNS. Лабораторная работа.

o   Монтирование и настройка файловой системы. Лабораторная работа.

 

Модуль 3. Введение в Arenadata Cluster Manager

·        Основные понятия и компоненты.

·        Развертывание системы управления. Лабораторная работа.

·        Подготовка и настройка инфраструктуры с использованием бандла. Лабораторная работа.

·        Планирование и первичная конфигурация кластера ADH.

·        Установка кластера ADH. Лабораторная работа.

·        Мониторинг (Prometheus, Grafana).

·        Подходы к конфигурированию сервисов экосистемы ADH.

·        Основные конфигурационные файлы и описание.

·        Работа с логами сервисов, поиск и выявление проблем работы с сервисами.

·        Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM.

 

Модуль 4. Пост-настройка кластера Arenadata Hyperwave: HDFS, YARN

·        Файловая система HDFS.

·        Основные операции в HDFS:

o   Работа с файлами и каталогами. Balancer.

o   Распределенное копирование. HttpFS. Лабораторные работы.

·        Обслуживание и диагностика HDFS: DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа.

·        Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы.

·        Компрессия и форматы файлов.

·        Парадигма Map Reduce.

·        Архитектура YARN, HA-режим. Работа с YARN UI.

·        Scheduler YARN. Лабораторная работа.

 

Модуль 5. Smart Storage Manager (SSM)

·        Предпосылки создания, история.

·        Архитектура SSM, отказоустойчивость.

·        Концепция правил и действий.

·        Возможности SSM, примеры операций.

·        Основные конфигурационные файлы и описание.

·        Лабораторная работа (перемещение данных).

 

Модуль 6. Ozone

·        Назначение и применение Ozone.

·        Отличие от HDFS, преимущества.

·        Архитектура и компоненты Ozone, отказоустойчивость.

·        Структура хранения данных в Ozone (том, бакет, ключ).

·        Основные операции в Ozone.

·        Основные конфигурационные файлы и описание.

·        Политики хранения, Rack Awareness.

·        Лабораторная работа.

 

Модуль 7. ZooKeeper

·        ZooKeeper. Основные понятия и операции. Работа с ZooKeeper CLI.

 

Итоговое тестирование