はじめに

強化学習は環境に柔軟に適応する知能エージェントにおける基本機能と考えられます。近年は深層学習などのアーキテクチャとして、認識技術と組み合わされて自動運転などの実践的な場でつかわれれはじめており、さらにロボットなどにおいても今後は適用されてゆくシーンが増えてゆくでしょう、こうした背景から、実践的な強化学習や，実世界で動かす強化学習（ロボット・自動運転），強化学習を部品として組み合わせる（アーキテクチャ），といったトピックについて重視し情報共有する場として強化学習アーキテクチャ勉強会を開始しました。

本勉強会において積極的に議論に加わっていただき、今後、論文紹介などの形で貢献いただけるかたの参加をお待ちしております。

当勉強会の運営方針などについては、https://rlarch.connpass.com/ を御覧ください。

• Google Group: https://goo.gl/xznKlY （注：KlYのIは「L」の小文字です）
• Slack: https://join.slack.com/t/rlarch/shared_invite/MjM2Mzc3MDE1MzYyLTE1MDQ2MjIzNDItNjFmNmU2NWJlYg

スケジュール

• 18:50 〜18:55 オープニング
• 18:55〜19:45 論文紹介：Unsupervised Predictive Memory in a Goal-Directed Agent (発表35分、質疑応答15分)

※ 19:00にビル入り口が施錠されるため、19時以前にお越しください（万が一19時を過ぎてしまった場合はインターホンにてご連絡ください）

講演概要：

発表者：梶原 侑馬（東京大学）

• タイトル： 論文紹介："Unsupervised Predictive Memory in a Goal-Directed Agent"

• アブストラクト：
  Differentiable Neural Computers(DNC)のように，近年End-to-endに学習可能な，外部メモリを持ったニューラルネットワーク構造（Memory Augmented Neural Networks）がいくつか提案されており，強化学習においても，より長期的な経験保持が可能になると期待されている．しかし，環境から受け取る報酬を最大化するという行動則のみで学習するだけでは，必ずしも経験を適切な形式で表現できているわけではなく，経験の想起に長いタイムラグが発生するタスクや，環境が変化するような複雑なタスクでは失敗することが多い． 今回ご紹介するMERLIN(Memory, RL, and Inference Network)というモデルは，次のステップ時の環境（入力，報酬）を予測するという補助タスクを同時に解くことで，経験を適切な形で外部メモリに保存・想起することを可能にし，3次元迷路のような複雑な環境でも，タスクを解くことに成功している．MERLINは以下の心理学，神経科学におけるモデル・原理とも深く関わっており，実世界指向なエージェントを考える上でも興味深いモデルである．
  - Predictive Coding
  - GluckとMyersによる海馬の表現理論

• 参考文献：
  [1] Wayne, Hung, et al. "Unsupervised Predictive Memory in a Goal-Directed Agent." arXiv preprint, https://arxiv.org/abs/1803.10760
  [2] Graves, Wayne, et al. "Hybrid computing using a neural network with dynamic external memory." Nature, https://www.nature.com/articles/nature20101