【少人数制、MAX3名】言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する

2月

10
【少人数制、MAX3名】言語処理の基本からBERT関連モデルの研究トレンドや実装を把握する
言語処理の基本からBERT関連の研究トレンドを俯瞰し、実装の確認を行います！

募集内容	セミナー参加者枠 5000円（会場払い）先着順 2/3人
申込者	申込者一覧を見る
開催日時	2021/02/10(水) 19:30 ～ 21:30 Googleカレンダー icsファイル
募集期間	2020/12/07(月) 21:55 〜 2021/02/10(水) 21:30まで
会場	水道橋駅周辺予定、詳細は確定後に反映させます
参加者への情報	(参加者と発表者のみに公開されます)

イベントの説明

※ コロナ対策として、少人数の実施と、アルコール消毒・マスク着用を義務化します。
詳しくは「参加者への情報」にまとめましたので、必ず一読の上の参加をお願いします。

内容概要

下記のテキストの内容が概観できるように簡単な解説を行います。
基本的な内容からある程度最新の話題までをざっくり俯瞰します。

https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

※ 参加が難しい方は基本的にはテキストにまとまっていますので、上記をご確認いただけたら
十分だと思います。参加費もそれなりなので、この辺は自己判断いただけたらと思います。

開催日程

2/10（水）
受付： 19:25〜19:30
講義： 19:30〜21:00
ハンズオン＆質疑応答 etc：21:00〜21:30

※ 19:15より前の入室は原則としてお断りします。
※ 21時に中締めとし、その後30分は質疑や各自ハンズオンの時間とします。

アジェンダ

1. 言語処理の概論の復習＆予備知識(30分)
　　BoWとWord2Vec（局所表現と分散表現）
　　言語モデルとニューラル言語モデル
　　Seq2Seq（系列変換モデル）とEncoder-Decoder  etc

2. BERTと研究トレンドについて(50分)
　　Transformer[2017]
　　BERT[2018]
　　XLNet[2019]
　　RoBERTa[2019] 
　　ALBERT[2019]
　　T5[2019]
　　ERNIE[2019]

3. ハンズオン(30分)
　　↓時間内に消化はできないと思うので、ざっくり解説してあとで自己学習しやすいように
　　できればと思います。

　　A) Word2vecなどの気軽に使えるハンズオン
　　B) 下記を元にサンプルのrun_classifier.pyを実行。
　　https://github.com/google-research/bert

※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。
※ 以下進行にあたっての参考記事です。

↓基本的な内容
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
〜
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

↓BERT、Transformer etc
https://lib-arts.hatenablog.com/entry/nlp_dl1
〜
https://lib-arts.hatenablog.com/entry/nlp_dl8

↓XLNet
https://lib-arts.hatenablog.com/entry/nlp_dl9
〜
https://lib-arts.hatenablog.com/entry/nlp_dl12

↓RoBERTa
https://lib-arts.hatenablog.com/entry/nlp_dl13
〜
https://lib-arts.hatenablog.com/entry/nlp_dl17

↓ALBERT
https://lib-arts.hatenablog.com/entry/nlp_dl21
〜
https://lib-arts.hatenablog.com/entry/nlp_dl24

↓T5
https://lib-arts.hatenablog.com/entry/nlp_dl26
〜
https://lib-arts.hatenablog.com/entry/nlp_dl30

↓ERNIE
https://lib-arts.hatenablog.com/entry/nlp_dl31
https://lib-arts.hatenablog.com/entry/nlp_dl32

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

・教師あり学習についてある程度理解がある方
・PythonについてはJupyterを動かすことができるレベルはあると聞きやすいと思います。

↓事前知識に自信のない方は下記を先にご確認の上ご参加いただくようお願いします。
https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は8年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、2,000名ほど。

当日までの準備

ハンズオンB)の希望者は下記の公式を元に実行まで行っていただけたらと思いますので、
環境の構築と事前学習モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)とTensorFlow（1.12.0で動作確認取ってますが、公式だと1.11.0で
テスト済みとされています）のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク（約400MB）
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
（話の分量自体多く解説がメインなので、こちらの準備ではマストではありません）
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください。
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。（1,3,5章中心に読むのが良いと思います。）
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl1（1,3,5章読解メモ）
https://lib-arts.hatenablog.com/entry/nlp_dl4（4章読解メモ）

費用

5,000円（2h）

※
・領収書発行の際は事務手数料として追加2,000円のお支払いをよろしくお願いいたします

定員

3名（余裕を持って会場を使えるように増枠は行いません。）

備考

話が早かったり難しかったりなどはあると思うので、なるべく下記を元に予習してきて
いただけたらスムーズだと思います。
https://lib-arts.booth.pm/items/1655815
https://lib-arts.booth.pm/items/1834866
https://lib-arts.booth.pm/items/1847458