ReLU (Линейный выпрямитель)

Функция активации ReLU обнуляет отрицательные входные значения и пропускает положительные без изменений. Её простота ускоряет обучение нейронных сетей и снижает риск затухания градиентов. Широко применяется в глубоком обучении из-за вычислительной эффективности.