skillcraft.Все статьиEN

ЗАМЕТКИ МАКСА

Почему нейросеть ошибается на новых данных: переобучение

Нейросеть может хорошо работать на тренировочных данных и хуже — на примерах, которых не было при обучении. Это называют переобучением: вместо полезных общих признаков модель может запомнить сами тренировочные примеры.

Редакция Skillcraft · персонаж Макс · 2026-11-19

Иллюстрация: нейросеть учится на примерах зонтов, красные зонты в обучающей выборке и синие с чёрными на новых примерах

Нейросеть не получает готовый список правил. В задачах с размеченными примерами модель меняет внутренние параметры, чтобы лучше решать поставленную задачу. Но хороший показатель на уже знакомых данных ещё не означает, что модель справится с новыми.

Как проходит обучение

Представьте, что вы показываете программе фотографии зонтов и просите отличать их от трости. Нейросеть получает размеченные примеры и настраивает параметры так, чтобы лучше различать классы. Это упрощённая аналогия: реальные модели работают с числами и множеством параметров.

Что такое переобучение

Переобучение — это когда модель хорошо работает на тренировочных данных, но хуже — на примерах, которых не было при обучении. Она как будто выучила шпаргалку вместо темы. Задача — находить закономерности, которые помогают и на незнакомых примерах.

Проверочные примеры должны походить на ситуации, где модель планируют применять. Если условия отличаются, качество на новых данных может измениться по разным причинам; один лишь разрыв между тренировочными и новыми примерами не объясняет его полностью.

Зачем нужны проверочные и тестовые данные

Данные разделяют по ролям. На тренировочных примерах модель учится. Проверочная выборка помогает сравнивать варианты во время настройки. Отдельную тестовую выборку используют для итоговой оценки.

Если много раз смотреть на тестовый результат и каждый раз менять модель, она постепенно тоже подстраивается под эту выборку. Тогда тест уже не даёт такой независимой проверки, как раньше.

Источники

Из мастерской