Синтетические данные спасли нам проект и чуть его не убили

Когда вы полезли в синтетику?

Когда реальных примеров редкого класса было катастрофически мало. Мы ловили мошеннические операции, а их по определению единицы на тысячи честных. Размечать вручную дорого и медленно. Тогда мы стали генерировать правдоподобные примеры мошенничества, чтобы модели было на чём учиться.

И это сработало?

На старте отлично. Полнота выросла заметно, модель наконец начала видеть редкие случаи. Мы выдохнули. А через пару итераций начались странности: модель стала уверенно ловить схемы, которых в реальности не бывает. Она выучила наши фантазии, а не жизнь.

В чём была ошибка?

Мы генерировали данные из представлений о том, как выглядит мошенничество, а не из реальности. Синтетика унаследовала наши предрассудки и усилила их. Классическая ловушка: учишь модель на выходе другой модели, и ошибки копятся, как копия с копии. Картинка плывёт с каждым поколением.

Как выбрались?

Жёстко разделили роли. Синтетика идёт только в обучение и только для добора редких классов. Проверка качества всегда на реальных, живых данных, никогда на сгенерированных. И поставили потолок: доля синтетики в обучающем наборе ограничена, чтобы реальность оставалась главной. Как только это развели, галлюцинации схем ушли.

Где синтетика точно не годится?

Там, где важен именно живой хвост редких, странных случаев, которые ты не догадаешься придумать. Модель сгенерирует то, что уже укладывается в твою голову, а самое ценное как раз за её пределами. Настоящее мошенничество изобретательнее наших шаблонов. Поэтому реальные примеры мы бережём как золото.

Кому и как советуете это применять?

Синтетика это лекарство от нехватки данных, а не бесплатная фабрика правды. Помогает, когда реального сигнала мало. Валидируйте только на реальном, следите за долей, не гоняйте модель по кругу на её же выходе. Иначе получите систему, которая блестяще решает задачу, существующую только в вашей голове.