Convolution

Der Einfachheit halber sei die Gewichtematrix definiert von $-c$ bis $c$. $s$ sei die Stride.

Forward

  • $z^t(x,y)=\sum_{u=-c}^c\sum_{v=-c}^c w_{u,v} h^{t-1}(xs+u,ys+v)+b$
  • $h^t(x,y)=Sig(z^t(x,y))$

Ableitungen

$\def\xo{\overline x}$
$\def\yo{\overline y}$
  • ${\delta E\over\delta z^t(x,y)}=
    {\delta h^t(x,y)\over\delta z^t(x,y)}{\delta E\over\delta h^t(x,y)}
    =h^t(x,y)(1-h^t(x,y)){\delta E\over\delta h^t(x,y)}
    $
  • $w_{u,v}$ kommt in jedem $z^t(x,y)$ vor.
    ${\delta E\over\delta w_{u,v}}
    ={\sum_x\sum_y{\delta z^t(x,y)\over\delta w_{u,v}}{\delta E\over\delta z^t(x,y)}}
    ={\sum_x\sum_y h^{t-1}(xs+u,ys+v) {\delta E\over\delta z^t(x,y)}}
    $
  • $
    {\delta E\over\delta h^{t-1}(\xo,\yo)}
    ={\sum_x\sum_y{\delta z^t(x,y)\over\delta h^{t-1}_{\xo,\yo}}{\delta E\over\delta z^t(x,y)}}
    $

    $~~~~{\delta z^t(x,y)\over\delta h^{t-1}_{\xo,\yo}}\ne 0$ nur für $\xo=xs+u$ mit $-c\le u \le c$ und $\yo=ys+v$ mit $-c\le v\le c$.

    Sei $f(x)=1$ für $x \mod s=0$ und $0$ sonst.

    $
    ={\sum_{u=-c}^c\sum_{v=-c}^cf(\xo-u)f(\yo-v){\delta z^t({\xo-u\over s},{\yo-v\over s})\over\delta h^{t-1}_{\xo,\yo}}{\delta E\over\delta z^t({\xo-u\over s},{\yo-v\over s})}}
    $

    $
    ={\sum_{u=-c}^c\sum_{v=-c}^c w_{u,v}{\delta E\over\delta z^t({\xo-u\over s},{\yo-v\over s})}}
    $