SportScan.ru

Почему вероятный исход не обязан произойти

Материал проекта SportScan ·

Прогноз описывает неопределённость до матча. Результат становится известен после него. Эти две вещи нельзя оценивать одним вопросом «угадал или нет».

Вероятный не означает обязательный

Если исходу приписана вероятность выше, чем альтернативам, это ещё оставляет возможность другого результата. Проигрыш фаворита сам по себе не показывает, какая ошибка была в исходном расчёте. Равным образом одно совпадение не подтверждает качество всей модели.

Почему короткая серия ненадёжна

Представим учебный пример, не статистику SportScan: из десяти наблюдений совпали семь. Следующее несовпадение меняет долю с семи из десяти до семи из одиннадцати. На коротком отрезке одно событие заметно влияет на итог. Длинная история тоже не устраняет проблемы, если из неё исключены неудобные результаты или смешаны разные правила отбора.

Что проверяет калибровка

Похожим предматчевым оценкам сопоставляют частоту фактических исходов на новых событиях. Например, учебная группа оценок около семи десятых должна проверяться на достаточно большой серии сопоставимых случаев. Это не обещание ровно семи совпадений в любых следующих десяти матчах. Проверка на данных, использованных для настройки модели, не заменяет проверку на новых событиях.

Порядок чтения истории

  1. Выберите одну подборку и период до просмотра её результатов.
  2. Проверьте, что исходы записаны до начала событий.
  3. Посчитайте совпадения и несовпадения; ожидающие события оставьте отдельно.
  4. Посмотрите на размер выборки и время последнего обновления.
  5. Изучите ограничения метода, прежде чем переносить выводы на другие турниры или рынки.

В архиве SportScan доступны исходные записи опубликованных подборок. Здесь можно сверять историю, но нельзя получить доказательство гарантированного будущего результата. Доля совпадений также не является показателем доходности.

Методическая справка: документация scikit-learn о проверке вероятностей. Эта ссылка поясняет общий статистический принцип и не означает, что все описанные там методы применяются в SportScan.