Токенизатор (Tokenizer)

Разбивает текст на фрагменты — слова, символы или их части — перед обработкой в нейросети. Токенизатор структурирует входные данные, чтобы модель работала с языком как с последовательностью элементов. Без него алгоритмы не смогли бы анализировать текст осмысленно.