勉強したもの置き場

強化学習

研究のメインが強化学習. 制御寄りの研究室ということもあり, 強化学習で制御する, って考え方が好き.

初学

• 強化学習 “Reinforcement Learning : An Introduction"の邦訳. 深層学習以前の強化学習の基礎がすべて詰まっている.

• これからの強化学習 1章は初学者向き, 2章以降は研究者向き？比較的新しい内容. この本だけで強化学習の理解は無理だと思う(笑)

動的計画法

• Formal Synthesis of Control Strategies for Dynamical Systems
• Optimal Control of Markov Decision Processes With Linear Temporal Logic Constraints
• An Approximate Dynamic Programming Approach to Multi-Agent Persistent Monitoring in Stochastic Environments with Temporal Logic Constraints

スーパバイザ制御 + 強化学習

• 強化学習を用いた離散事象システムのスーパバイザ制御
• 言語測度を用いた離散事象システムのスーパバイザ制御
• 強化学習に基づく分散離散事象システムの最適スーパバイザ制御
• Decentralized Supervisory Control of Discrete Event Systems Based on Reinforcement Learning

Temporal Logic + 強化学習

• A Learning Based Approach to Control Synthesis of Markov Decision Processes for Linear Temporal Logic Specifications
• Robust Satisfaction of Temporal Logic Specifications via Reinforcement Learning
• Q-Learning for Robust Satisfaction of Signal Temporal Logic Specifications
• A Hierarchical Reinforcement Learning Method for Persistent Time-Sensitive Tasks

DQN

• Human-level control through deep reinforcementlearning
• Playing Atari with Deep Reinforcement Learning
• Deep Reinforcement Learning with Double Q-learning 参考:Double DQN

CNN + 強化学習

• Value Iteration Networks

RNN + 強化学習

• Deep Recurrent Q-Learning for Partially Observable MDPs

階層的強化学習

• Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic Motivation
• FeUdal Networks for Hierarchical Reinforcement Learning

A3C

• Asynchronous Methods for Deep Reinforcement Learning

マルチエージェント

• A comprehensive survey of multiagent reinforcement learning

読む予定

• DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving
• End to End Learning for Self-Driving Cars
• Deep Reinforcement Learning for Simulated Autonomous Vehicle Control
• Deep Reinforcement Learning framework for Autonomous Driving
• A Hierarchical Reinforcement Learning Method for Persistent Time-Sensitive Tasks
• Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
• Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving
• Counterfactual Multi-Agent Policy Gradients
• Enhanced Experience Replay Generation for Efficient Reinforcement Learning
• Efficient Parallel Methods for Deep Reinforcement Learning
• Deep Reinforcement Learning: An Overview

深層学習

強化学習 + 深層学習という感じで, ツールとして使いたいので多少勉強している.

• 深層学習は以下の2冊をやったけど, これ以上は論文読んで実装したほうが勉強になる気がしている.
  • 深層学習 (機械学習プロフェッショナルシリーズ)
  • ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
• まだLSTM, RNNとGANはよくわかってない

統計的学習手法

参加している勉強会の中心がこの分野なので, こっちも結構やってる.

勉強中

• 機械学習といえばコレってことでやってるけど難しい. 実装できる気がしない.
  • パターン認識と機械学習 上
  • パターン認識と機械学習 下

勉強したいもの

• 統計学の基本を以下4冊で勉強したい. 統計検定準1級か1級を目標に.

  • 統計学入門 (基礎統計学Ⅰ)
  • 自然科学の統計学 (基礎統計学)
  • 人文・社会科学の統計学 (基礎統計学)
  • 数理統計学 (数学シリーズ)

• 統計を実際にコーディングするならこの本のシリーズかなあ.

  • ベイズ統計データ解析 (Rで学ぶデータサイエンス 3)
  • 多次元データ解析法 (Rで学ぶデータサイエンス 2)
  • 一般化線形モデル (Rで学ぶデータサイエンス 10)

• 統計モデリングもやらなきゃなあと.

  • データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)
  • StanとRでベイズ統計モデリング (Wonderful R)

• 時系列解析も少し触れたい.

  • 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)

• ベイズをやるときにこれがおすすめらしいおすすめらしい.

  • ベイズ統計の理論と方法

まだ(勉強会で)手を出していないが手を出す予定のもの

• 数理計画法
• 異常検知

プログラミング/ツール

• 言語
  • python
  • R
  • pyTorch
  • TensorBoard(TensorFlow)
• アプリケーション
  • Docker
  • Git