Функция активации

Преобразует взвешенную сумму входов нейрона, добавляя в нейросеть нелинейность. Без нее сеть не смогла бы обучаться на сложных данных — например, распознавать изображения или понимать естественный язык.