お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
料金・プラン等につきましては後日改めてご案内いたします。詳しくはこちらの お知らせをご覧ください。

お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。

このエントリーをはてなブックマークに追加

May

3

仕組みから理解するBERT・Transformer入門

一見難しそうな印象を受けるBERT・Transformerが直感的に理解できるように解説を行います。

仕組みから理解するBERT・Transformer入門
Registration info

参加者枠

3000(Pay at the door)

FCFS
4/5

Attendees
yuuna_chan
k_kishi
fujiftb
hirano_satoshi_566
View Attendee List
Start Date
2023/05/03(Wed) 16:00 ~ 18:00
Registration Period

2023/04/20(Thu) 19:01 〜
2023/05/03(Wed) 18:00まで

Location

(場所未定)

参加者への情報
(参加者と発表者のみに公開されます)

Description

コロナ対策については「参加者への情報」のご一読をよろしくお願いします。
緊急事態宣言が終了したので、状況次第で緩和を検討する場合があります。

内容概要

DeepLearningの活用について考えるに際して、もはやデファクトとなりつつある
Transformer関連の研究ですが、処理の概要はわかっても解釈がうまくできない
という方も多いのではないかと思います。
というのも論文の記載はモジュールの処理概要が中心のため、2次的に出てくる
解説資料も処理の流れはつかめるけれどもそれ以上の理解が難しいものが多い
というのもあるのではないかという印象です。

そこで当セミナーではTransformerの基本的な仕組みの理解が直感的にできるように
GNN(Graph Neural Network)の視点から解説を行います。

開催日程

5/3
受付 15:5016:00
講義 16:0017:45
質疑応答 etc17:4518:00

 15:50より前の入室は原則としてお断りします

アジェンダ

・基本トピック
- 系列モデリングの基本
- グラフニューラルネットワークの理解
-  RNN・LSTMとTransformer
- Transformerの仕組みの直感的理解
- なぜTransformerのパフォーマンスが良いのか

・発展トピック
- Inductive biasをどのように考えるか
- MLP-Mixer、gMLPなどの最新研究の解釈について
- BERT、ViT、TransGANなどの応用にあたっての関連研究

※ 理解度を確認しつつ進行するので、発展トピックは省略する場合があります。

※ 参考資料(下記や下記に関連する論文などを中心に解説を行います)
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/3162254
https://speakerdeck.com/liberalarts/transformer-and-graph-neural-network
https://speakerdeck.com/liberalarts/inductive-bias-and-graph-networks
https://www.amazon.co.jp/dp/B08JGM3JNP

対象者

・DeepLearningの基本的な仕組みは理解している方(CNNの基本的な仕組みがわかれば十分です)
・Transformer関連の研究の内容を基本から理解したい方
・今後のDeepLearning関連の研究の展望を俯瞰したい方

費用

3,000

 領収書発行の際は法人料金も兼ねまして追加1,000円のお支払いをよろしくお願いいたします

定員

5最大7名まで増枠します

Media View all Media

If you add event media, up to 3 items will be shown here.

Ended

2023/05/03(Wed)

16:00
18:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2023/04/20(Thu) 19:01 〜
2023/05/03(Wed) 18:00

Location

(場所未定)

Attendees(4)

yuuna_chan

yuuna_chan

仕組みから理解するBERT・Transformer入門 に参加を申し込みました!

k_kishi

k_kishi

仕組みから理解するBERT・Transformer入門 に参加を申し込みました!

fujiftb

fujiftb

仕組みから理解するBERT・Transformer入門 に参加を申し込みました!

hirano_satoshi_566

hirano_satoshi_566

仕組みから理解するBERT・Transformer入門 に参加を申し込みました!

Attendees (4)