お知らせ 【重要なお知らせ】2022年6月22日にプライバシーポリシーを変更いたしました。

このエントリーをはてなブックマークに追加

May

21

BERTの関連研究の最新トレンドを俯瞰する

BERT、T5、GPT3からERNIE3.0やST-MoEなど最新トレンドまでを確認します。

Registration info

参加者枠

1000(Pay at the door)

FCFS
4/5

参加者への情報
(参加者と発表者のみに公開されます)

Description

内容概要

BERTの研究トレンドに関して俯瞰を行います。
https://arxiv.org/abs/1810.04805
BERTは昨今様々なところで用いられる言語処理の事前学習(pre-trained)モデルです。

今回はBERT、XLNet、ERNIE、T5、GPT3の内容を確認したのちに、BERT関連の最新の
トレンドに関しても確認を行います。


↓Transformerの概要に関しては把握している方が聞きやすいと思いますので、下記に
簡単に目を通した上での参加を推奨します。
https://www.amazon.co.jp/dp/B08JGM3JNP

開催日程

5/21
受付 18:5019:00
講義 19:0021:00

 途中5分ほどの休憩を設ける予定です
 18:50より前の入室は原則としてお断りします

アジェンダ

1.  BERTTransformerの主な仕組み(35)
  Dot-Product Attentionの直感的理解
  Masked Language Modelingと事前学習

2. トレンドの紹介(75)
  TransformerBERT
  XLNetGPT3
  RoBERTaALBERTT5ERNIE
  Reformer
  ERNIE 3.0ST-MoEなど その他直近の論文 etc

 全体の流れは変えませんが当日の理解度を確認しながら細かい時間配分は調整します

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

なるべく前提知識が必要ないように進めますが、事前に予習を行う場合は下記などをご確認ください。

・基本事項
https://www.amazon.co.jp/dp/B08B4SBQL7
https://lib-arts.booth.pm/items/1834866

・発展事項
https://lib-arts.booth.pm/items/1847458
https://www.amazon.co.jp/dp/B08JGM3JNP
https://lib-arts.booth.pm/items/3162254

費用

1,0002h

領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

5増枠は7名まで行います

ご参加にあたってのお願い

7割以上は参加できる前提でのお申し込みをお願いしますまた参加できない場合はなるべく
前日までにキャンセル対応をお願いします
無断欠席が多い場合はブラックリスト対応を行う場合がありますのでご注意ください

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published BERTの関連研究の最新トレンドを俯瞰する.

05/04/2022 19:45

BERTの関連研究の最新トレンドを俯瞰する を公開しました!

Ended

2022/05/21(Sat)

19:00
21:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2022/05/04(Wed) 19:45 〜
2022/05/21(Sat) 21:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Organizer

Attendees(4)

村田憲彦

村田憲彦

BERTの関連研究の最新トレンドを俯瞰する に参加を申し込みました!

Ikunobu

Ikunobu

BERTの関連研究の最新トレンドを俯瞰する に参加を申し込みました!

fujiftb

fujiftb

BERTの関連研究の最新トレンドを俯瞰するに参加を申し込みました!

Kerotan7

Kerotan7

BERTの関連研究の最新トレンドを俯瞰するに参加を申し込みました!

Attendees (4)

Canceled (1)