가중치, 편향, 활성화

가중치는 입력이 합에 들어가기 전에 입력의 크기를 조절합니다. 양수 입력에서는 양의 가중치가 양의 영향을 주고 음의 가중치가 음의 영향을 줍니다. 음수 입력에서는 그 부호가 반대가 됩니다.

편향은 입력과 관계없이 전체 출력을 위나 아래로 이동합니다. 즉, 뉴런이 기본적으로 어느 쪽으로 기울어지는지를 정합니다.

활성화는 가중 합을 변환합니다. 시그모이드는 가중 합을 0에서 1 사이의 범위로 바꾸고, 다른 활성화 함수는 다르게 작동합니다. 예를 들어 ReLU는 음수 입력에서 0이고, 최댓값에 제한이 없습니다. 0과 1 사이의 값이라고 해서 자동으로 보정된 확률인 것은 아닙니다.