Backward Propagation in nn.Module
本文接續 Torch NN Tutorial 4: Backward Propagation (part 1) ,與 Torch NN Tutorial 5: Backward Propagation (part 2) 講解 nn.Module
中, 與 backward propagation 有關的程式碼。
nn.Module
程式碼:https://github.com/torch/nn/blob/master/Module.lua
與 backward propagation 有關的,主要有以下三個運算 :
而這三個運算,分別對應到以下三個 function :
-
zeroGradParameters
-
backward
-
updateParameters
本文將詳細講解這三個 function 的程式碼內容。
註:
1.本文的 同前兩篇文(Torch NN Tutorial 4~5)中的 。
2.本文中的 為矩陣,而 , 為向量。