バックプロパゲーション(誤差逆伝搬法,BP)のわかりやすい説明が見つかった

2020年1月26日

こんにちは、2018年6月から機械学習(ニューラルネットワーク)をはじめたサラリーマン・エンジニアです。

私が機械学習の中のニューラルネットワークをはじめてから最初につまづいたのがバックプロパゲーション(誤差逆伝搬法,BP)でした。何をしているのかさっぱりわかりませんでした。

仕事中もときどき、わかりやすい記事を探してさまよっていたのですが、

計算グラフの微積分:バックプロパゲーションを理解する

というブログ記事をみて、バックプロパゲーションでやっていることの中身がやっと理解できました。著者・訳者の方に感謝です!!

ここに載っている図を見れば直感的にわかると思うので、バックプロパゲーションでお悩みの方に超おすすめです。

 

これまで、参考書『ディープラーニングがわかる数学入門』を何度も読んで、偏微分∂の数式を実際に手で書いてみて「ふーん、確かに書いてある通りになるなぁ」と何となくわかりました。

別の参考書『ゼロから作るDeep Learning Pythonで学ぶディープラーニングの理論と実装』では、バックプロパゲーションの別の説明方法として計算グラフが使われています。確かに、数式アレルギーの人にとってはとっつきやすいかもしれませんが、私はこちらもイマイチわかりませんでした。

 

しかしながら、行列計算の逆伝搬の中身が未だににわかりません。とりあえず、『ゼロから・・・』のPythonコードを利用して実験する分には困らないですが、本に載っていないことをしようとしたら先に進めそうにないです。

これからもあちこちブログを調べて、わかりやすい説明が見つかればここで紹介します。