Веса, смещение, активация

Вес масштабирует вход перед тем, как он попадёт в сумму. Для положительного входа положительный вес даёт положительный вклад, а отрицательный вес — отрицательный; отрицательный вход меняет эти знаки на противоположные.

Смещение сдвигает весь выход вверх или вниз независимо от входов — оно задаёт первоначальный уклон нейрона.

Активация преобразует взвешенную сумму. Сигмоидная функция отображает её в диапазон от 0 до 1, а другие функции активации ведут себя иначе. Например, ReLU равна нулю для отрицательных входов и не имеет верхней границы. Значение между 0 и 1 не обязательно является откалиброванной вероятностью.