Когда сплит данных готов, он передается на обработку функции Map. Функция Map выполняется параллельно на каждом сплите данных и, по сути, является пользовательской функцией, которая определяет, как именно будут обрабатываться данные. Эта функция применяет определенные операции к каждому элементу данных в сплите и генерирует одну или несколько пар ключ-значение в качестве результата. Ключом может быть любой идентификатор или характеристика данных, тогда как значение – это информация, связанная с этим ключом.

Рассмотрим пример анализа текстового файла. Допустим, задача состоит в том, чтобы подсчитать частоту встречаемости каждого слова в большом тексте. В этом случае функция Map может читать строки текста, разбивать их на отдельные слова и затем для каждого слова создавать пару ключ-значение, где ключ – это само слово, а значение – единица (представляющая одно упоминание слова). Например, если строка "Hadoop is powerful" обрабатывается функцией Map, она может вернуть пары (Hadoop, 1), (is, 1), (powerful, 1). Такие пары ключ-значение формируются для каждого слова в каждом сплите.

После того как функция Map завершает свою работу, результаты (все пары ключ-значение) сортируются и группируются по ключам. Этот процесс называется "сортировка и перегруппировка" (shuffle and sort). Сортировка упорядочивает данные по ключам, а перегруппировка объединяет все значения для одного ключа в список, что подготавливает данные к следующей стадии MapReduce – стадии Reduce. На этом этапе промежуточные результаты организованы так, чтобы данные с одинаковыми ключами были сгруппированы вместе, что позволяет значительно упростить дальнейшую обработку.

Стадия Map выполняет основную работу по разделению, преобразованию и агрегированию данных, подготавливая их к дальнейшему анализу и снижая нагрузку на следующую стадию обработки. Этот процесс делает MapReduce мощным инструментом для работы с большими данными, обеспечивая высокую производительность и масштабируемость.

2. Функция Reduce:

Вторая стадия процесса MapReduce, называемая Reduce (сведение), отвечает за агрегирование и обработку данных, полученных от функции Map. Этот этап берет на себя задачу объединения результатов, которые были предварительно отсортированы и перегруппированы по ключам после выполнения стадии Map. Основная цель функции Reduce – консолидировать данные, связанные с одним и тем же ключом, чтобы получить окончательные результаты для каждой группы ключ-значение.

После того как функция Map завершает свою работу, данные передаются на стадию Reduce в виде отсортированных пар ключ-значение, где все значения с одинаковыми ключами сгруппированы вместе. На этом этапе ключи представляют собой уникальные идентификаторы, связанные с определенным набором данных, а значения – это список всех связанных с этим ключом элементов, полученных от разных функций Map, которые работали параллельно на различных узлах кластера.

Функция Reduce получает на вход каждый уникальный ключ и соответствующий ему список значений, и затем выполняет определенные агрегирующие операции над этими значениями. Например, если задачей является подсчет количества слов в большом тексте, функция Map создала пары ключ-значение в виде (слово, 1) для каждого слова в тексте. На стадии Reduce функция суммирует все единицы для каждого уникального слова, чтобы получить общее количество его упоминаний в тексте. Так, если слово "Hadoop" встречается пять раз в различных частях текста, функция Reduce получит пару (Hadoop, [1, 1, 1, 1, 1]) и вернет результат (Hadoop, 5).