Модели машинного обучения для прогноза ДТП: проверка точности и скрытые риски алгоритмов

97,62% точности: почему модель прогноза ДТП ещё не готова к городу

Лучшую общую точность показали Random Forest и Naive Bayes, но проверка шла на синтетическом наборе TAPD. Для городской транспортной системы это контрольный бенчмарк, а не подтверждение готовности к эксплуатации.

Что тестировали

В работе использован TAPD: 5 500 случаев и 17 атрибутов. Accident_Occurred стал бинарной целью. Record_ID исключили как идентификатор, Accident_Severity и Alert_Generated не использовали для предотвращения утечки цели.

Сравнивались K-Nearest Neighbors, AdaBoost, CN2 Rule Inducer, Support Vector Machine, Random Forest и Naive Bayes. Проверка шла методом 10-фолдовой перекрёстной валидации. Оценивались accuracy, 95-процентные доверительные интервалы Уилсона, precision, recall, specificity, F1 и balanced accuracy.

Метрикам нужна декомпозиция

Random Forest и Naive Bayes показали accuracy 97,62% и specificity 100%. Положительный класс в задаче соответствует аварии, поэтому recall 77,22% показывает долю аварийных случаев, распознанных моделью. Наивысший recall получил AdaBoost: 78,09%.

Исследователи отмечают главный риск: высокая общая точность способна маскировать аварийные случаи, которые модель пропустила. На дисбалансированных наборах безопасности показатель чувствительности к положительному классу игнорировать нельзя. При этом specificity 100% не компенсирует пропуски аварий.

В контексте работы приводится оценка: в 2021 году в мире погибли около 1,19 млн человек в дорожных столкновениях. Этот фон объясняет задачу, но не измеряет эффект модели.

Практический фильтр

TAPD синтетический. Авторы называют результаты контрольным бенчмарком и указывают, что TAPD не подтверждает готовность к развёртыванию. Следующая проверка нужна на независимых данных реального движения.

Для городского пилота нужны четыре проверки:

• Происхождение данных. Синтетический набор и городской трафик нельзя считать эквивалентными.
• Конструкция цели. Идентификаторы и поля, доступные только после аварии, должны оставаться вне предикторов.
• Профиль метрик. Recall, specificity, precision, F1, balanced accuracy и интервалы Уилсона требуется оценивать вместе с общей accuracy.
• Цена ошибки. Пропуски аварийных случаев и ложные срабатывания необходимо сопоставить с допустимым операционным порогом.

Для масштаба: по данным TechTarget, supervised ML в ServiceNow Kingston маршрутизирует обращения в IT-поддержку, а для высокой точности пользователям требуется не менее 50 000 инцидентов или записей. Этот порог не переносится на транспортную задачу. Зависимость от объёма и качества данных остаётся общей.

До независимой валидации результат нельзя переносить в прикладные рекомендации. Та же дисциплина нужна в других сценариях, например при выборе магазина биологически активных добавок: собственные данные и собственные критерии ошибки.

Практический горизонт: реальная валидация и профиль ошибок. До них модель остаётся лабораторным инструментом.