このエントリーをはてなブックマークに追加

Oct

17

GNNで直感的に理解するTransformer入門

一見難しそうな印象を受けるTransformerが直感的に理解できるように解説を行います。

Registration info

参加者枠

1000(Pay at the door)

FCFS
4/5

参加者への情報
(参加者と発表者のみに公開されます)

Description

コロナ対策については「参加者への情報」のご一読をよろしくお願いします。
緊急事態宣言が終了したので、状況次第で緩和を検討する場合があります。

内容概要

DeepLearningの活用について考えるに際して、もはやデファクトとなりつつある
Transformer関連の研究ですが、処理の概要はわかっても解釈がうまくできない
という方も多いのではないかと思います。
というのも論文の記載はモジュールの処理概要が中心のため、2次的に出てくる
解説資料も処理の流れはつかめるけれどもそれ以上の理解が難しいものが多い
というのもあるのではないかという印象です。

そこで当セミナーではTransformerの基本的な仕組みの理解が理解できるように
GNN(Graph Neural Network)の視点から解説を行います。

開催日程

・第1
10/17(日)
受付: 15:5016:00
講義: 16:0017:45
質疑応答 etc17:4518:00

 15:50より前の入室は原則としてお断りします。

アジェンダ

・基本トピック
- 系列モデリングの基本
- グラフニューラルネットワークの理解
-  RNNLSTMとTransformer
- Transformerの仕組みの直感的理解
- なぜTransformerのパフォーマンスが良いのか

・発展トピック
- Inductive biasをどのように考えるか
- MLP-MixergMLPなどの最新研究の解釈について
- BERTViTTransGANなどの応用にあたっての関連研究

 理解度を確認しつつ進行するので、発展トピックは省略する場合があります。

 参考資料(下記や下記に関連する論文などを中心に解説を行います)
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1834353
https://speakerdeck.com/liberalarts/transformer-and-graph-neural-network
https://speakerdeck.com/liberalarts/inductive-bias-and-graph-networks
https://www.amazon.co.jp/dp/B08JGM3JNP

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

DeepLearningの基本的な仕組みは理解している方CNNの基本的な仕組みがわかれば十分です
Transformer関連の研究の内容を基本から理解したい方
・今後のDeepLearning関連の研究の展望を俯瞰したい方

費用

1,000

 領収書発行の際は法人料金も兼ねまして追加1,000円のお支払いをよろしくお願いいたします。

定員

5名(増枠は行いません)

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published GNNで直感的に理解するTransformer入門.

10/08/2021 21:27

GNNで直感的に理解するTransformer入門 を公開しました!

Ended

2021/10/17(Sun)

16:00
18:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2021/10/08(Fri) 21:27 〜
2021/10/17(Sun) 18:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Attendees(4)

shimatamykey

shimatamykey

GNNで直感的に理解するTransformer入門に参加を申し込みました!

Okashi5

Okashi5

GNNで直感的に理解するTransformer入門 に参加を申し込みました!

KengoTobita

KengoTobita

GNNで直感的に理解するTransformer入門 に参加を申し込みました!

Kerotan7

Kerotan7

GNNで直感的に理解するTransformer入門 に参加を申し込みました!

Attendees (4)