Book a Demo!
CoCalc Logo Icon
StoreFeaturesDocsShareSupportNewsAboutPoliciesSign UpSign In
Download
8 views
unlisted
ubuntu2004
Tweet
Share
Share
Kernel: SageMath 9.5
f(x)={5x≥023 sonstf(x) = \left\{ \begin{array}{ll} 5 & x \geq 0 \\ 23 & \, \textrm{sonst} \\ \end{array} \right.

8.5.3 Gradienten, Lokale Gradienten und Autodiff

Die Ausgabefunktion eines Perzeptrons out(x⃗,b,w⃗)=α(x⃗⋅w⃗+b)out(\vec{x},b,\vec{w})=\alpha(\vec{x}\cdot\vec{w}+b). Nach der Kettenregel ist ∂out∂b(x⃗,b,w⃗)=α′(x⃗⋅w⃗+b)\dfrac{\partial out}{\partial b}(\vec{x},b,\vec{w}) = \alpha'(\vec{x}\cdot\vec{w}+b) und ∂out∂wi(x⃗,b,w⃗)=α′(x⃗⋅w⃗+b)⋅xi=xi∂out∂b(x⃗,b,w⃗)\dfrac{\partial out}{\partial w_i}(\vec{x},b,\vec{w}) = \alpha'(\vec{x}\cdot\vec{w}+b)\cdot x_i=x_i\dfrac{\partial out}{\partial b}(\vec{x},b,\vec{w}).

Die partiellen Ableitungen nach den Eingangsvariablen x⃗\vec{x} ergeben sich analog zu den partiellen Ableitungen nach den Gewichten und wir können den Gradienten der Ausgabefunktion des Perceptrons schreiben als

$$\vec{\nabla}(out)= \left(\begin{array}{c} \dfrac{\partial out}{\partial \vec{x}} \\ \dfrac{\partial out}{\partial b} \\ \dfrac{\partial out}{\partial \vec{w}} \\ \end{array}\right) = \left(w⃗1x⃗\begin{array}{c} \vec{w} \\ 1\\ \vec{x} \\ \end{array}\right) \cdot \alpha'$$

Da wir für alle Perceptronen dieselben Aktivierungsfunktionen verwenden, fixieren wir diese außerhalb der Definition der Klasse - hier als Sigmoid-Funktion S.. Selbstverständlich können Sie die Wahl der Aktivierungsfunktion in der folgenden Zelle jederzeit ändern.