Эксплуатация Arenadata Hadoop

Модуль 1. Приветствие.

Модуль 2. Введение в экосистему Hadoop.

·        История возникновения Hadoop.

·        Понятия BigData, Data Lake.

·        История проекта.

·        Основные компоненты и экосистема.

·        Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper, Impala, HUE, Kyybi..

·        Дистрибутивы Hadoop.

·        Проект ODPi. Arenadata Hadoop.

·        Проект Ambari. ADCM.

·        Архитектура кластера Hadoop

·        HDFS. YARN.

·        Отказоустойчивость.

Модуль 3. Подготовка окружения к установке Hadoop.

·        Планирование кластера.

·        Типы узлов. Профили нагрузки.

·        Аппаратное обеспечение. Примеры кластеров.

·        Настройка параметров окружения.

·        Подготовка к установке.

·        Настройка сети и DNS. Лабораторная работа.

·        Монтирование и настройка файловой системы.

Модуль 4. Введение в Arenadata Cluster Manager.

·        Основные понятия и компоненты.

·        Развертывание системы управления.

·        Подготовка и настройка инфраструктуры с использованием бандла.

·        Планирование и первичная конфигурация кластера Hadoop.

·        Установка и настройка мониторинга.

·        Установка кластера Hadoop.

·        Мониторинг.

·        Подходы к конфигурированию сервисов экосистемы Hadoop.

·        Основные конфигурационные файлы и описание.

·        Работа с логами сервисов, поиск и выявление проблем работы с сервисами.

·        Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM.

Модуль 5. Пост-настройка кластера Hadoop: HDFS, YARN.

·        Файловая система HDFS.

·        Основные операции в HDFS.

·        Работа с файлами и каталогами. Balancer.

·        Распределенное копирование. HttpFS.

·        Обслуживание и дианостика HDFS: DataNodes, NameNodes, HA. HDFS UI.

·        Политики хранения. Tiering. Erasure Coding. Rack Awareness.

·        Компрессия и форматы файлов.

·        Парадигма Map Reduce.

·        Архитектура YARN, HA-режим. Работа с YARN UI.

·        Scheduler YARN.

Модуль 6. Проверка работоспособности кластера.

·        ZooKeeper. Основные понятия и операции. Работа с Zookeeper CLI.

·        HBase. Основные понятия и примеры операций. Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush). High Availability. Работа с утилитами HBase (check, repair).

·        Phoenix. Основные операции с данными.

·        Примеры запросов Hive. Основные понятия и примеры операций. Установка и конфигурирование. High Availability HiveServer.

·        Работа с утилитами Hive (schema-tool). Работа с Tez UI.

·        Оптимизация запросов Hive.

·        Impala. Архитектура и конфигурирование.

·        Spark. Основные понятия и операции.

·        Установка и конфигурирование. Работа со Spark UI. Примеры кода.

·        Работа с Livy сервером (REST API).

·        Kyuubi. Архитектура, подключение и примеры операций. Установка и конфигурирование.

·        HUE. Установка, конфигурирование и обзор UI.

Итоговое тестирование.