お知らせ 9月24日(木)10:00から2時間ほど、サーバーのメンテナンス作業を予定しております。作業の間はconnpassのご利用が出来ません。ご迷惑をおかけしますが何卒ご了承ください。

新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

Sep

5

言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する

言語処理の基本からBERT関連の研究トレンドを俯瞰し、実装の確認を行います!

Registration info

セミナー参加者枠

7000(Pay at the door)

FCFS
2/6

参加者への情報
(参加者と発表者のみに公開されます)

Description

内容概要

下記のテキストの内容が概観できるように簡単な解説を行います。
基本的な内容からある程度最新の話題までをざっくり俯瞰します。

https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

 参加が難しい方は基本的にはテキストにまとまっていますので、上記をご確認いただけたら
十分だと思います。参加費もそれなりなので、この辺は自己判断いただけたらと思います。

開催日程

9/5(土)
受付: 15:5516:00
講義: 16:0018:00

 途中5分ほどの休憩を設ける予定です。
 15:50より前の入室は原則としてお断りします。

アジェンダ

1. 言語処理の概論の復習&予備知識(30)
  BoWとWord2Vec(局所表現と分散表現)
  言語モデルとニューラル言語モデル
  Seq2Seq(系列変換モデル)とEncoder-Decoder  etc

2. BERTと研究トレンドについて(50)
  Transformer[2017]
  BERT[2018]
  XLNet[2019]
  RoBERTa[2019] 
  ALBERT[2019]
  T5[2019]
  ERNIE[2019]

3. ハンズオン(30)
  ↓時間内に消化はできないと思うので、ざっくり解説してあとで自己学習しやすいように
  できればと思います。

  A) Word2vecなどの気軽に使えるハンズオン
  B) 下記を元にサンプルのrun_classifier.pyを実行
  https://github.com/google-research/bert

 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。
 以下進行にあたっての参考記事です。

↓基本的な内容
https://lib-arts.hatenablog.com/entry/nlp_tutorial1

https://lib-arts.hatenablog.com/entry/nlp_tutorial6

BERTTransformer etc
https://lib-arts.hatenablog.com/entry/nlp_dl1

https://lib-arts.hatenablog.com/entry/nlp_dl8

XLNet
https://lib-arts.hatenablog.com/entry/nlp_dl9

https://lib-arts.hatenablog.com/entry/nlp_dl12

RoBERTa
https://lib-arts.hatenablog.com/entry/nlp_dl13

https://lib-arts.hatenablog.com/entry/nlp_dl17

ALBERT
https://lib-arts.hatenablog.com/entry/nlp_dl21

https://lib-arts.hatenablog.com/entry/nlp_dl24

T5
https://lib-arts.hatenablog.com/entry/nlp_dl26

https://lib-arts.hatenablog.com/entry/nlp_dl30

ERNIE
https://lib-arts.hatenablog.com/entry/nlp_dl31
https://lib-arts.hatenablog.com/entry/nlp_dl32

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

・教師あり学習についてある程度理解がある方
PythonについてはJupyterを動かすことができるレベルはあると聞きやすいと思います

↓事前知識に自信のない方は下記を先にご確認の上ご参加いただくようお願いします。
https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は8年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、2,000名ほど。

当日までの準備

ハンズオンB)の希望者は下記の公式を元に実行まで行っていただけたらと思いますので、
環境の構築と事前学習モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)TensorFlow1.12.0で動作確認取ってますが、公式だと1.11.0
テスト済みとされています)のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク(約400MB
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
(話の分量自体多く解説がメインなので、こちらの準備ではマストではありません)
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。(1,3,5章中心に読むのが良いと思います。)
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl11,3,5章読解メモ)
https://lib-arts.hatenablog.com/entry/nlp_dl44章読解メモ)

費用

7,000円(2h


・領収書発行の際は事務手数料として追加2,000円のお支払いをよろしくお願いいたします

定員

6名(若干ハンズオンも入りますので増枠はしません。)

備考

話が早かったり難しかったりなどはあると思うので、なるべく下記を元に予習してきて
いただけたらスムーズだと思います。
https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published 言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する.

08/25/2020 15:54

言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する を公開しました!

Ended

2020/09/05(Sat)

16:00
18:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2020/08/25(Tue) 15:54 〜
2020/09/05(Sat) 18:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Attendees(2)

やす

やす

言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する に参加を申し込みました!

Sayuri-nksMiyashima

Sayuri-nksMiyashima

言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する に参加を申し込みました!

Attendees (2)

Canceled (1)