YARN состоит из нескольких ключевых компонентов, которые совместно обеспечивают управление ресурсами и координацию выполнения приложений в распределенной среде:

1. ResourceManager (Менеджер ресурсов):

Расположение: Центральный компонент системы YARN, который управляет всеми ресурсами кластера.

Функции: ResourceManager отвечает за распределение ресурсов между различными приложениями. Он получает запросы от приложений на выделение ресурсов, принимает решения о размещении задач на узлах и контролирует состояние кластера. ResourceManager включает в себя два основных модуля: Scheduler и ApplicationManager.

 Scheduler: Этот модуль отвечает за планирование ресурсов, распределяя вычислительные мощности (CPU, память) между приложениями в соответствии с их приоритетами и требованиями. Scheduler действует на основе политики выделения ресурсов, не выполняя самих задач, что позволяет избежать конфликтов и перегрузки кластера.

ApplicationManager: Управляет жизненным циклом приложений, начиная от их инициализации до завершения. Этот модуль координирует запуск и мониторинг всех компонентов приложения на узлах кластера.

2. NodeManager (Менеджер узла):

Расположение: Работает на каждом узле кластера.

 Функции: NodeManager отвечает за управление ресурсами на конкретном узле. Он отслеживает использование ресурсов (памяти, процессора) на узле и управляет контейнерами (containers) – изолированными средами выполнения, в которых запускаются задачи приложения. NodeManager также регулярно отправляет отчёты о состоянии узла и его ресурсах в ResourceManager.

3. ApplicationMaster (Менеджер приложения):

Расположение: Запускается для каждого приложения, работающего на YARN.

Функции: ApplicationMaster управляет выполнением конкретного приложения. Он запрашивает у ResourceManager необходимые ресурсы, распределяет их между задачами приложения, следит за выполнением задач и обрабатывает возможные сбои. Это обеспечивает гибкость и адаптивность выполнения приложений, так как каждый ApplicationMaster может иметь свои собственные стратегии управления задачами и ресурсами.

YARN значительно улучшает масштабируемость, гибкость и эффективность кластера Hadoop благодаря следующим функциям:

1. Разделение управления ресурсами и обработкой данных:

В отличие от первой версии Hadoop, где MapReduce выполнял функции как фреймворка для обработки данных, так и системы управления ресурсами, YARN выделяет управление ресурсами в отдельный слой. Это позволяет запускать на кластере не только задачи MapReduce, но и другие типы приложений (например, Apache Spark, Apache Flink), что делает Hadoop универсальной платформой для работы с большими данными.

2. Поддержка различных типов рабочих нагрузок:

YARN позволяет одновременно выполнять на одном кластере различные типы приложений, включая интерактивные запросы, поточные вычисления и пакетную обработку данных. Это делает YARN более гибкой системой, способной эффективно использовать ресурсы кластера для различных задач и улучшать общую производительность.

3. Динамическое выделение ресурсов:

Система YARN способна динамически перераспределять ресурсы между приложениями в зависимости от их текущих потребностей. Это означает, что ресурсы, неиспользуемые одним приложением, могут быть перераспределены для других задач, что повышает эффективность использования кластера и уменьшает время простоя ресурсов.

4. Масштабируемость:

YARN спроектирована для работы на масштабируемых кластерах, что позволяет увеличивать количество узлов и приложений без значительных изменений в конфигурации системы. Это достигается благодаря децентрализации управления: ResourceManager и NodeManager распределяют нагрузку, а ApplicationMaster обеспечивает индивидуальное управление приложениями.