Токенизация (Tokenisation)

Разбивает текст на минимальные значимые единицы — слова, символы или фразы. Модели NLP анализируют такие токены, чтобы уловить закономерности языка. Без токенизации алгоритмы не смогли бы работать с текстом.