Узлы-слейвы в архитектуре HDFS называются **DataNodes**. Они отвечают за непосредственное хранение данных и выполнение запросов на их чтение и запись. Каждый файл в HDFS разбивается на большие блоки, которые хранятся на нескольких DataNodes для обеспечения отказоустойчивости и доступности данных. DataNodes регулярно отправляют отчеты о своем состоянии и состоянии хранимых данных на NameNode, чтобы он мог следить за целостностью данных и управлять репликацией блоков в случае необходимости. Если один из DataNode выходит из строя, NameNode автоматически перераспределяет данные на другие доступные узлы, гарантируя тем самым устойчивость системы к сбоям.

Архитектура "мастер-слейв" HDFS позволяет эффективно управлять большими объемами данных в распределенной системе. NameNode берет на себя управление всей файловой системой, концентрируя в себе информацию о метаданных, что значительно упрощает архитектуру и управление данными. В то же время DataNodes выполняют работу по хранению и предоставлению данных, распределяя нагрузку по многим узлам и обеспечивая высокую производительность и отказоустойчивость системы.

Представим себе сценарий использования HDFS в крупной компании, занимающейся анализом данных, например, в области обработки логов веб-сервера. Компания ежедневно генерирует терабайты логов, которые необходимо хранить и анализировать для выявления закономерностей и улучшения пользовательского опыта. Для этого они используют HDFS, который распределяет данные по множеству серверов в кластере.

В этой системе NameNode управляет метаданными всех логов. Например, он знает, что файл `weblogs_2024-09-01.log` состоит из 10 блоков данных, и может указать, что блоки 1, 3, и 5 находятся на DataNode A, блоки 2 и 4 – на DataNode B, а остальные блоки – на DataNode C. Когда аналитик или приложение хочет получить доступ к этим логам, запрос сначала направляется на NameNode, который предоставляет информацию о расположении блоков. Аналитик затем обращается напрямую к соответствующим DataNode для извлечения нужных данных.

Поскольку логи представляют собой большие файлы, HDFS разбивает их на блоки и хранит копии (реплики) этих блоков на разных DataNode для повышения надежности. Если один из узлов (например, DataNode B) выходит из строя, NameNode автоматически инициирует копирование недостающих блоков с DataNode A и C на другие доступные узлы, чтобы обеспечить целостность данных. Это позволяет системе продолжать работу даже при сбое одного или нескольких узлов.

Таким образом, в этом примере HDFS помогает компании эффективно управлять огромными объемами данных, обеспечивая высокую доступность и надежность системы, даже при наличии сбоев в отдельных узлах.

MapReduce

MapReduce – это программная модель и связанный с ней инструмент, используемый для обработки и генерации больших объемов данных с использованием параллельных и распределённых алгоритмов в кластере. MapReduce предоставляет разработчикам простой и эффективный способ анализа данных, хранящихся в HDFS. Основные компоненты MapReduce включают:

1. Функция Map:

Функция Map является первой и ключевой стадией в процессе обработки данных в парадигме MapReduce, используемой в таких системах, как Hadoop. Эта стадия играет важную роль в разделении и параллельной обработке больших объемов данных, что делает систему масштабируемой и эффективной для обработки задач на кластере.

На этапе Map входные данные, которые могут представлять собой большие файлы, таблицы баз данных или другие большие наборы данных, делятся на более мелкие части, называемые "сплитами". Каждый сплит представляет собой часть исходных данных, которую можно обрабатывать независимо от других частей. В Hadoop, например, данные обычно хранятся в HDFS, где они уже разделены на блоки. Однако в процессе MapReduce сплиты могут быть созданы на основе логической структуры данных, а не только на основе физического разделения.