強化学習の基本的な内容を抑えつつ、
Deep Q-Network[2013/2015]、Rainbow[2017]、Ape-X[2018]、R2D2[2019]、
R2D3[2019]、AlphaZero[2017]、MuZero[2019]などの論文を元に、深層強化学習の
最新の研究トレンドとその元となる基本的な考え方について解説します。
https://lib-arts.booth.pm/items/1847279
https://lib-arts.booth.pm/items/1960313
上記のテキストの内容を元に色々とご説明していきます。

下記論文リストです。
↓Rainbow論文
https://arxiv.org/abs/1710.02298
↓Ape-X論文
https://arxiv.org/abs/1803.00933
↓R2D2論文
https://openreview.net/pdf?id=r1lyTjAqYX
↓R2D3論文
https://arxiv.org/abs/1909.01387
↓AlphaZero論文
https://arxiv.org/abs/1712.01815
↓MuZero論文
https://arxiv.org/abs/1911.08265


↓事前に予習したい方は下記を軽く読み流してきてください。
https://lib-arts.booth.pm/items/1847279

4/26（日）
受付： 15:55〜16:00
講義： 16:00〜18:00

※ 途中5分ほどの休憩を設ける予定です。
※ 15:55より前の入室は原則としてお断りします。

1. 前提知識の確認(30分)
　　強化学習の問題設定(Sequential Decision Making Problem)
　　Model-freeとModel-basedを一つの図で整理する
　　条件付き確率と強化学習
　　ベルマン方程式と数列の和
　　↓参考
　　https://lib-arts.hatenablog.com/entry/rl_sutton4

2. モデルベース(Model-based)強化学習(20分)
　　モンテカルロ木探索
　　AlphaZero
　　↓参考
　　https://lib-arts.hatenablog.com/entry/rl_MCTS_basic
　　https://lib-arts.hatenablog.com/entry/rl_paper5 (1/18投稿予定)

3. モデルフリー(Model-free)強化学習について(30分)
　　Q-learningとDeep Q-Network
　　Rainbow[2017]
　　↓参考
　　https://lib-arts.hatenablog.com/entry/rl_trend6

4. 最新トピックについて(30分)
　　Ape-X[2018]
　　R2D2[2019]
　　MuZero[2019]
　　R2D3[2019]
　　↓参考
　　https://lib-arts.hatenablog.com/entry/rl_paper1
　　https://lib-arts.hatenablog.com/entry/rl_paper2
　　https://lib-arts.hatenablog.com/entry/rl_paper3
　　https://lib-arts.hatenablog.com/entry/rl_paper4

※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

・R2D3やMuZeroなどの深層強化学習の最新トピックに興味がある方
・モデルベース(model-based)とモデルフリー(model-free)の違いについて理解したい方
・DeepLearningの基本的な内容が把握できている方

東大工学部卒。
データ分析/AI開発の仕事の経験は8年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,500名近い。

・事前知識に自信のない方は下記などを軽く読み流してきてください。
https://lib-arts.booth.pm/items/1847279

・model-based強化学習について気になる方は下記の8章が詳しいようなのでこちらを
確認するのが良いと思います。
https://www.andrew.cmu.edu/course/10-703/textbook/BartoSutton.pdf

・深層学習の知識については「ゼロから作るDeepLearning」に記載の内容のレベルは
既知とさせてください。

・6,000円（2h）

※ 領収書発行の際は事務手数料として追加2,000円のお支払いをよろしくお願いいたします

6名（増枠はしません）