BiRNNのメモ

本記事はbi-directional RNNについて勉強したことをメモ書きしたものです。

メモ書きなので、正式に執筆したものは、追々リンクを載せます。

RNNとは

RNNとは時系列処理にふさわしい形をしたニューラルネットワークのひな型みたいなもの。中間層における処理の流れは一方向で以下のような形をしている。

リアルタイムな入力とかに対応できる。

https://agirobots.com/wp/wp-content/uploads/2021/01/image.png

BiRNNとは

RNNは処理の方向が一方向に限定されています。しかし、時系列データにはいろいろな形があるので、それぞれのデータの形に合わせて相応しいモデルを定義してやる方がいいですよね。ですので、時系列データの全体が分かっている状態ならば、過去から未来へのパスだけでなく、未来から過去へのパスも使用できるはずです。これがBiRNNです。

https://agirobots.com/wp/wp-content/uploads/2021/01/image-1.png

 

 PyTorchとか使ってコーディングするときは、forwardのみ定義すればいいので、簡単。

前向きのパスと後ろ向きのパスについてそれぞれの中間層ノードと、出力ニューロンの式さえモデル化すればOK