– 

Среднеквадратичная ошибка

(MSE

):

Используется в задачах регрессии для измерения средней квадратичной разницы между предсказанными и фактическими значениями

.

Среднеквадратичная ошибка (Mean Squared Error, MSE) – это одна из наиболее распространенных и широко используемых функций потерь в задачах регрессии в машинном обучении. Ее основное назначение – измерять среднюю квадратичную разницу между предсказанными значениями модели и фактическими значениями в данных. MSE является метрикой, которая позволяет оценить, насколько хорошо модель соответствует данным, и какие ошибки она допускает в своих предсказаниях.

Принцип работы MSE заключается в следующем:

1. Для каждого примера в обучающем наборе данных модель делает предсказание. Это предсказание может быть числовым значением, таким как цена дома или температура, и модель пытается предсказать это значение на основе входных признаков.

2. Разница между предсказанным значением и фактическим значением (истинным ответом) для каждого примера вычисляется. Эта разница называется "остатком" или "ошибкой" и может быть положительной или отрицательной.

3. Эти ошибки возводятся в квадрат, что позволяет избежать проблем с отрицательными и положительными ошибками, которые могут взаимно компенсироваться. Ошибки возводятся в квадрат, чтобы большим ошибкам присваивать больший вес.

4. Затем вычисляется среднее значение всех квадратов ошибок. Это среднее значение является итоговой MSE.

Формула MSE для одного примера (i) выглядит следующим образом:

MSE(i) = (Предсказанное значение(i) – Фактическое значение(i))^2

Для всего набора данных с N примерами формула MSE выглядит так:

MSE = (1/N) * Σ (Предсказанное значение(i) – Фактическое значение(i))^2 от i=1 до N

Чем меньше значение MSE, тем ближе предсказания модели к фактическим данным, и, следовательно, модель считается более точной. Однако стоит помнить, что MSE чувствителен к выбросам и может быть неподходящим для задач, где ошибки в предсказаниях могут иметь разную важность.

– 

Кросс

-

энтропия

:

Широко применяется в задачах классификации и измеряет разницу между распределением вероятностей

,

предсказанным моделью

,

и фактическими метками классов

.

Кросс-энтропия (Cross-Entropy) – это важная функция потерь, широко используемая в задачах классификации, особенно в машинном обучении и глубоком обучении. Она измеряет разницу между распределением вероятностей, предсказанным моделью, и фактическими метками классов в данных. Кросс-энтропия является мерой того, насколько хорошо модель приближает вероятностное распределение классов в данных.

Принцип работы кросс-энтропии заключается в сравнении двух распределений: предсказанных вероятностей классов моделью и фактических меток классов в данных. Её можно описать следующим образом:

1. Для каждого примера в наборе данных модель выдает вероятности принадлежности этого примера к разным классам. Эти вероятности могут быть представлены в виде вектора вероятностей, где каждый элемент вектора соответствует вероятности принадлежности примера к конкретному классу.

2. Фактичные метки классов для каждого примера также представляются в виде вектора, где один элемент вектора равен 1 (класс, к которому пример принадлежит), а остальные элементы равны 0.

3. Сравнивая вероятности, предсказанные моделью, с фактичными метками классов, вычисляется кросс-энтропия для каждого примера. Формула для вычисления кросс-энтропии для одного примера i выглядит так:

Cross-Entropy(i) = -Σ (Фактическая вероятность(i) * log(Предсказанная вероятность(i)))

Где Σ означает суммирование по всем классам.