1. Модель предсказывает вероятности для класса "положительный" (обычно обозначенного как класс 1) и вероятности для класса "отрицательный" (обычно обозначенного как класс 0) для каждого примера. Обычно это делается с использованием активационной функции "Sigmoid", которая преобразует необработанные выходы модели в вероятности, лежащие в интервале от 0 до 1.

2. Фактичные метки классов для каждого примера также представляются в виде бинарного вектора, где один элемент вектора равен 1 (класс 1 – "положительный"), а другой элемент равен 0 (класс 0 – "отрицательный").

3. Сравнивая предсказанные вероятности моделью с фактичными метками классов, вычисляется бинарная кросс-энтропия для каждого примера. Формула для вычисления бинарной кросс-энтропии для одного примера i выглядит следующим образом:

Binary Cross-Entropy(i) = -[Фактичная метка(i) * log(Предсказанная вероятность(i)) + (1 – Фактичная метка(i)) * log(1 – Предсказанная вероятность(i))]

4. Итоговая бинарная кросс-энтропия для всего набора данных вычисляется как среднее значение бинарной кросс-энтропии для всех примеров.

Бинарная кросс-энтропия имеет следующие ключевые особенности:

– Она является подходящей функцией потерь для задач бинарной классификации, где прогнозируется принадлежность к одному из двух классов.

– Она штрафует модель за неверные и неуверенные предсказания, что способствует обучению более уверенных классификаций.

– Она легко интерпретируется и может быть использована для оценки вероятностных предсказаний модели.

Бинарная кросс-энтропия является стандартным выбором функции потерь в задачах бинарной классификации и широко используется в таких приложениях, как определение спама в электронной почте, детекция болезней на медицинских изображениях и другие задачи, где необходимо разделять два класса.

– Среднее абсолютное отклонение (MAE): Среднее абсолютное отклонение (Mean Absolute Error, MAE) – это функция потерь, применяемая в задачах регрессии. Она измеряет среднее абсолютное отклонение между предсказанными значениями модели и фактическими значениями в данных. MAE предоставляет информацию о средней величине ошибки модели в абсолютных единицах, что делает её более интерпретируемой.

Принцип работы MAE заключается в следующем:

1. Для каждого примера в наборе данных модель делает предсказание. Это предсказание может быть числовым значением, таким как цена дома или температура, и модель пытается предсказать это значение на основе входных признаков.

2. Разница между предсказанным значением и фактическим значением (истинным ответом) для каждого примера вычисляется. Эта разница называется "остатком" или "ошибкой" и может быть положительной или отрицательной.

3. Абсолютное значение ошибки для каждого примера вычисляется, то есть разница превращается в положительное число.

4. Среднее абсолютное отклонение вычисляется как среднее значение всех абсолютных ошибок.

Формула MAE для одного примера i выглядит следующим образом:

MAE(i) = |Предсказанное значение(i) – Фактическое значение(i)|

Для всего набора данных с N примерами формула MAE выглядит так:

MAE = (1/N) * Σ |Предсказанное значение(i) – Фактическое значение(i)| от i=1 до N

Главная особенность MAE заключается в том, что она измеряет среднюю величину ошибки в абсолютных единицах, что делает её более интерпретируемой для конкретной задачи регрессии. Когда MAE меньше, это указывает на то, что модель делает более точные предсказания и ошибки в предсказаниях меньше. MAE также менее чувствителен к выбросам, чем среднеквадратичная ошибка (MSE), поскольку не возводит ошибки в квадрат, что позволяет ему лучше учитывать аномальные значения.