Vekter, bias, aktivering

En vekt skalerer en inngang før den går inn i summen. For en positiv inngang bidrar en positiv vekt positivt, mens en negativ vekt bidrar negativt. En negativ inngang snur disse fortegnene.

Biasen flytter hele utdataen opp eller ned, uavhengig av inngangene – den bestemmer nevronets standardtendens.

Aktiveringen forvandler den vektede summen. En sigmoid-funksjon gjør den om til et tall mellom 0 og 1, mens andre aktiveringer oppfører seg annerledes. ReLU er for eksempel null for negative innganger og har ingen øvre grense. En verdi mellom 0 og 1 er ikke automatisk en kalibrert sannsynlighet.