Оценка качества прогнозов: метрики и подходы

Оценка качества прогнозов — это критически важный этап в любой аналитической задаче, будь то финансовые рынки, прогнозирование спроса, погода или спортивные ставки. Без объективной оценки невозможно понять, приносит ли модель пользу или просто генерирует шум. В этой статье мы подробно разберем количественные метрики (математические показатели ошибки) и качественные подходы (отзывы, экспертная оценка, бэктестинг), которые помогут вам комплексно оценить результаты онлайн‑прогноза.

Количественные метрики: язык цифр

Метрики делятся на несколько групп в зависимости от того, что именно мы хотим измерить: абсолютную величину ошибки, относительную точность или направленность прогноза.

Метрики на основе абсолютной ошибки

Эти метрики показывают, насколько в среднем прогноз отклоняется от реальности в единицах измерения целевой переменной (рубли, штуки, градусы).

• MAE (Mean Absolute Error) — Средняя абсолютная ошибка.

  Формула: MAE = (1/n) * Σ |yᵢ ⸺ ŷᵢ|

  Плюсы: Интуитивно понятна, нечувствительна к выбросам (в отличие от MSE), в тех же единицах, что и данные.

  Минусы: Не показывает направление систематической ошибки (переоценка или занижение).

• MedAE (Median Absolute Error) — Медианная абсолютная ошибка.

  Более робастная версия MAE. Полезна, если в данных есть аномальные выбросы, которые не должны портить общую картину.

Квадратичные метрики (штрафуют за крупные ошибки)

Если одна большая ошибка недопустима (например, в риск-менеджменте), используют квадратичные функции потерь.

• MSE (Mean Squared Error), Среднеквадратичная ошибка.

  Формула: MSE = (1/n) * Σ (yᵢ ー ŷᵢ)²

  Сильно штрафует за крупные промахи. Единицы измерения — квадрат целевой переменной (сложно интерпретировать напрямую).

• RMSE (Root Mean Squared Error) — Корень из среднеквадратичной ошибки.

  Возвращает ошибку в исходных единицах измерения. RMSE ≥ MAE всегда. Если RMSE >> MAE, это сигнал о наличии крупных выбросов в ошибках.

Относительные и процентные метрики (для сравнения разных масштабов)

Необходимы, если вы сравниваете прогнозы для товаров с разным спросом (один продается по 10 шт., другой по 10 000 шт.) или разные временные ряды.

• MAPE (Mean Absolute Percentage Error) — Средняя абсолютная процентная ошибка.

  Формула: MAPE = (100%/n) * Σ |(yᵢ ⸺ ŷᵢ) / yᵢ|

  Критический нюанс: Не определена, если реальное значение yᵢ = 0. Асимметрична: штрафует сильнее за занижение прогноза, чем за переоценку.

• sMAPE (Symmetric MAPE) — Симметричная MAPE.

  Решает проблему асимметрии MAPE. Диапазон значений: 0% – 200%.

• MASE (Mean Absolute Scaled Error) — Масштабированная средняя абсолютная ошибка.

  Лучшая метрика для сравнения моделей на разных данных. Масштабирует ошибку относительно ошибки «наивного» прогноза (например, «завтра будет как сегодня» или «завтра будет как год назад»). Если MASE < 1 — модель лучше наивного подхода.

Направленные метрики (важно для трейдинга и бинарных событий)

Иногда важнее не насколько мы ошиблись, а угадали ли мы направление.

• Directional Accuracy (Accuracy), Доля верных направлений. Процент случаев, когда знак прогноза совпал со знаком реальности;
• Hit Rate / Precision / Recall / F1-score. Стандартные классификационные метрики, если прогноз сведен к классам («растет/падает», «покупка/нет покупки»).
• Matthews Correlation Coefficient (MCC). Сбалансированная мера качества бинарной классификации, работающая даже при сильном дисбалансе классов.

Продвинутые метрики для временных рядов

• Pinball Loss (Quantile Loss). Обязательна для оценки интервальных прогнозов (квантилей). Позволяет оценить качество предсказательных интервалов (например, 5-й и 95-й перцентили).
• CRPS (Continuous Ranked Probability Score). Обобщает MAE на случай вероятностных прогнозов. Оценивает всю функцию распределения, а не точечное значение.
• ACF ошибок (Autocorrelation Function of Residuals). Если в ошибках есть автокорреляция, модель упускает паттерны (сезонность, тренд), которые можно извлечь.

Качественная оценка: отзывы, экспертиза и контекст

Цифры не расскажут всю историю. Качественный анализ отвечает на вопрос: «Почему модель ошибается и можно ли этому доверять в продакшене?».

Анализ остатков (Residual Analysis) — «Внутренний отзыв» модели

1. График остатков во времени. Ищите паттерны: тренд в ошибках (модель не догонит тренд), пики в определенные праздники/события (отсутствуют регрессоры).
2. Гистограмма / Q-Q plot остатков. Проверка на нормальность (важно для доверительных интервалов) и «тяжелые хвосты» (риск черных лебедей).
3. Гетероскедастичность. Растет ли разброс ошибок при росте целевой переменной? Если да — нужны взвешенные модели или логарифмирование таргета.

Бэктестинг (Backtesting) и Walk-Forward Validation

Одиночный расчет метрик на тестовой выборке — это мало. Нужен роллинг-валидация (Expanding/Sliding Window).

• Обучаем на [0…t], валидируем на [t+1…t+h].
• Сдвигаем окно и повторяем.

Это дает распределение метрик во времени, а не одну точечную оценку. Вы увидите периоды деградации качества (например, ковид, смена режима рынка).

Экспертная оценка и «Человек в цикле» (Human-in-the-loop)

Собирайте отзывы потребителей прогнозов (менеджеров по закупкам, трейдеров, логистов).

• Удобство формата. Понимают ли они интервалы доверия? Нужен ли им просто «точка» или сценарии (базовый/пессимистичный/оптимистичный)?
• Доверие к модели. Если модель дает точный прогноз, но контр-интуитивен (например, предсказывает рост продаж в сезон спада из-за скрытой корреляции), бизнес его не примет. Нужен Explainable AI (SHAP, LIME).
• Cost of Error (Цена ошибки). Асимметричные потери: недозаказ (упущенная выгода) vs перезаказ (издержки на хранение/списание). Метрики должны отражать эту асимметрию (взвешенные MAE, Pinball Loss).

Бенчмаркинг (Сравнение с базовыми линиями)

Никогда не оценивайте модель в вакууме. Обязательно сравнивайте с:

• Naive Forecast (Наивный): «Завтра = Сегодня» или «Завтра = Тот же день недели год назад».
• Statistical Baselines: ETS, ARIMA, Theta, Seasonal Naive (статистические стандарты).
• Human Baseline: Текущий ручной процесс планирования. Если ваша сложная нейросеть бьет наивный прогноз на 0.5% MAPE, но проигрывает опытному менеджеру — модель не готова к продакшену.

Чек-лист: Как правильно построить отчет об оценке

При подготовке отчета для стейкхолдеров используйте следующую структуру:

Типичные ошибки при оценке (Anti-patterns)

• Оценка только на In-sample (обучающей выборке). Гарантированно дает завышенные метрики (переобучение).
• Использование MAPE на данных с нулями/близкими к нулю. Дает бесконечные или гигантские значения, ломая среднее.
• Сравнение RMSE разных моделей без масштабирования. RMSE зависит от масштаба таргета. Используйте MASE или относительное улучшение (%).
• Игнорирование горизонта прогноза. Метрики на 1 шаг вперед (h=1) обычно намного лучше, чем на h=30. Оценивайте именно тот горизонт, который нужен бизнесу.
• Data Leakage (Утечка данных). Использование фич, которые неизвестны в момент прогноза (например, фактические продажи за текущий день для прогноза текущего дня).

Оценка онлайн‑прогноза — это не разовый расчет model.score, а непрерывный процесс.

1. Начинайте с MASE и RMSE для технического сравнения моделей.
2. Переходите к бизнес-метрикам (деньги, сервис-уровень) для общения с заказчиком.
3. Обязательно проводите Walk-Forward валидацию, чтобы понять стабильность.
4. Анализируйте остатки и кейсы провалов, чтобы найти идеи для улучшения фичей.
5. Внедряйте мониторинг дрифта данных и качества в продакшене, модель стареет, и метрики начнут падать.

Помните: «Все модели ошибаются, но некоторые полезны» (Джордж Бокс). Ваша задача — с помощью метрик и отзывов доказать полезность именно вашей модели для конкретной бизнес-задачи.