Токен (Token)

Минимальная смысловая часть текста, которую разбирает алгоритм ИИ. Модель воспринимает входные данные как последовательность токенов — иногда это целые слова, иногда слоги или знаки препинания. Конкретный способ разбивки зависит от токенизатора.