|
ANN, WNN. Verschillen tussen ANN en WNN.
Het enkelvoudig lineair perceptron.
Unit (knoop, neuron). De activatiewaarde van een knoop, de invoerwaarden van een knoop, de uitvoerwaarde van een knoop, verbinding (link), het gewicht van een verbinding. De notie netto invoer als de gewogen som van de invoerwaarden.
Het enkelvoudig lineair perceptron als neuron waarbij de uitvoer gewoon gelijk is aan de netto invoer.
Het in één keer bepalen van optimale gewichten middels multivariate regressie. (Bij een deeltoets alleen begrip van het proces, je hoeft er niet aan te rekenen.)
Representatie van EN, OF, NIET door middel van een enkelvoudig lineair perceptron.
De delta-leerregel.
Het verschil tussen batch leren en online leren, en de effecten daarvan op de foutfunctie.
Minsky & Papert's resultaat dat een enkelvoudig lineair perceptron niet de X-OR functie kan representeren. De invloed van dit resultaat op het NN-onderzoek destijds.
De uitbreiding van het enkelvoudig lineair perceptron: de unit met een sigmoïde activatiefunctie. De invloed van deze uitbreiding op het NN-onderzoek.
Eigenschappen van de sigmoïde activatiefunctie σ. De afgeleide σ'.
Het meerlagige feed forward neurale netwerk (FFNN). Invoerlaag, verborgen laag, uitvoerlaag.
De invoernotatie volgens Mitchell: knoop j bezit, voor elke voorgangerknoop i, invoer xji en gewicht wji.
| |
Netto invoer
netj = ∑i∈Voorgangers(j) wjixji, uitvoer oj = σ(netj), opvolgers Downstream(j), correctiefactor δj =Def −∂Ed(w)/∂netj, waarbij w de vector van alle gewichten voorstelt.
Voorwaartse propagatie bij het gebruik van een bestaand FFNN.
Terugpropagatie van fouten bij het leerproces van een FFNN, i.h.b. hoe voor elke knoop j de correctiefactor δj wordt bepaald, en hoe met de leerfactor η, de correctiefactor δj, en de invoerwaarde xji het gewicht wji wordt geupdate.
Betekenis van expressies als
Ed(w),
∂Ed(w)/∂wji,
∂Ed(w)/∂netj,
∂Ed(w)/∂oj,
∂oj/∂netj,
∂σ(netj)/∂netj,
∂netji/∂wji, en voor opvolgerknopen k
∂netk/∂netj en
∂netk/∂oj.
Het leerproces van een FFNN: groei van gewichten, daling van fouten. (De grafiekjes.)
De notie overfitting. Twee oorzaken van overfitting: te lang doorleren en te veel inwendige lagen. (Er zijn meer mogelijke oorzaken, maar dit zijn er twee.)
Plateau's in het foutenlandschap. Hoe daar mee om te gaan middels het introduceren van momentum in de gewichtenupdates.
Representatie van begrensde continue functies door FFNN, in het bijzonder wat daar minimaal voor nodig is.
Representatie van reëelwaardige functies door FFNN, en wat daar minimaal voor nodig is.
Voordelen / sterke kanten van FFNN, nadelen / zwakke kanten van FFNN.
Geschikte toepassingsdomeinen van FFNN.
Voorbeeld: ALVINN.
|
