注意 現在 PayPal 側の支払い処理に不具合が起こっており、その影響により参加費用を支払ったのにイベントに参加登録できていない状況が複数件報告されております。 もしこの事象に遭われた参加者様、もしくはこの件についてお問い合わせされた主催者様はこちらのページを参考に対応を行なっていただけますようお願いいたします。

新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

Jun

16

【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習

基本的な理論から研究トレンド、TensorFlow実装まで取り扱う本格的なセミナーです!

Registration info

通常参加枠

7000(Pay at the door)

FCFS
1/3

会員枠

5000(Pay at the door)

FCFS
2/2

Description

25名ほどが定員の部屋ですが昨今の事情を鑑み、多くても5名程度、MAX7名の開催を
想定しています。
5/25段階で報道されているリスクについては全て考慮・分析済みなので、基本的によほどのことが
なければ延期せずに実施します)

詳しくは別途お送りしますが、自身やご家族の発熱などの際はキャンセルいただく想定です。
また、マスクもしくはマスクに類する何かしらで鼻から下は覆うようにだけは強制させていただく予定です。

内容概要

近年話題のBERTについてご質問いただくことが多いので企画させていただいています
https://arxiv.org/abs/1810.04805
BERTは言語処理の事前学習pre-trained)モデルとして役に立つのではということで
注目を浴びています。

基礎知識〜トレンド〜論文の読解&TensorFlow実装を実際に動かし、簡単に実装の流れを
掴みます。Word2VecSeq2SeqTransformerなどに触れながらBERTまで話をつなげて
いければと思います。

Transformer-XLXLNetRoBERTaALBERTT5Reformerの話にも言及しますので
様々な視点から汎用的な言語処理について見ていければと思います!


↓下記をベースに進めていきます。
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

開催日程

6/16(火)
受付: 19:5520:00
講義: 20:0022:00

 途中5分ほどの休憩を設ける予定です。
 19:50より前の入室は原則としてお断りします。

アジェンダ

1. 言語処理の概論の復習&予備知識(20)
  BoWとWord2Vec(局所表現と分散表現)
  言語モデルとニューラル言語モデル
  Seq2Seq(系列変換モデル)とEncoder-Decoder  etc

2. 論文を元にした解説(70)
  Transformer[2017]
  Reformer[2020]
  BERT[2018]
  Transformer-XL[2019] 
  XLNet[2019]
  RoBERTa[2019] 
  ALBERT[2019]
  T5[2019] 

3. TensorFlowコードの確認(20)
  下記のrun_classifier.pyの簡単な解説を行います
  https://github.com/google-research/bert
  (手順の共有とリポジトリやコードの解説をメインにします。)

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

 電子書籍形式の方が良い方は下記よりご購入いただけます!
https://lib-arts.booth.pm/items/1655815

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日までの準備

希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習
モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)TensorFlow1.12.0で動作確認取ってますが、公式だと1.11.0
テスト済みとされています)のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク(約400MB
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
(話の分量自体多く解説がメインなので、こちらの準備ではマストではありません)
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。(1,3,5章中心に読むのが良いと思います。)
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl11,3,5章読解メモ)
https://lib-arts.hatenablog.com/entry/nlp_dl44章読解メモ)

費用

5,000円(会員枠)
7,000円(通常参加枠)

 領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします。
 会員枠は下記のRegular or Premiumプランの加入者とします
https://note.com/lib_arts/circle

定員

5名(MAX7名とします。)

ご参加にあたってのお願い

下記ページで様々なテキストが入手できるようにしています。
よろしければこちらもご検討いただけましたら嬉しいです!!
https://lib-arts.booth.pm/

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published 【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習.

05/25/2020 22:27

【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習 を公開しました!

Ended

2020/06/16(Tue)

20:00
22:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2020/05/25(Mon) 22:27 〜
2020/06/16(Tue) 22:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Attendees(3)

ThanhVU

ThanhVU

I joined 【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習!

Kenzy_

Kenzy_

【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習 に参加を申し込みました!

nhatnd

nhatnd

【少人数制】研究トレンドとTensorFlow実装で理解するBERTと事前学習 に参加を申し込みました!

Attendees (3)