お知らせ 9月24日(木)10:00から2時間ほど、サーバーのメンテナンス作業を予定しております。作業の間はconnpassのご利用が出来ません。ご迷惑をおかけしますが何卒ご了承ください。

新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

Feb

8

関連論文とTensorFlow実装で理解するTransformer・BERTハンズオン

関連論文と実装を元にself-attentionを中心とした内容を読み解きます!

Registration info

セミナー参加者枠

5000(Pay at the door)

FCFS
2/5

関連セミナーの参加者枠

3000(Pay at the door)

FCFS
0/3

Description

内容概要

https://ml-for-experts.connpass.com/event/159426/
上記のセミナーの分量が多くなり過ぎて2時間で取り扱えなくなったので、二つに
分けて実施していきます。

今回は前編ということで、Transformerにおいて用いられている中でなかなか理解が
しづらいself-attentionの内容を中心に研究トレンドの把握を行ったのちに、BERTの
実装などを見て中身を理解していきます。

後編は下記で実施しますので、BERT以後の研究トレンドにご興味おありの方は下記も
ご検討いただけますと嬉しいです。
https://connpass.com/event/163292/

開催日程

2/8(土)
受付: 15:5016:00
講義: 16:0018:00

 途中5分ほどの休憩を設ける予定です。
 15:45より前の入室は原則としてお断りします。

アジェンダ

1. 言語処理の概論の復習&予備知識(20)
  BoWWord2Vec(局所表現と分散表現)
  言語モデルとニューラル言語モデル
  Seq2Seq(系列変換モデル)とEncoder-Decoder  etc

2. 論文を元にした解説(50)
  Neural Machine Translation by Jointly Learning to Align and Translate[2014]
  A Decomposable Attention Model for Natural Language Inference[2016]
  A Structured Self-attentive Sentence Embedding[2017]
  Transformer[2017] 
  BERT[2018]

3. 実装例を元にしたハンズオン(40)
  下記を元にサンプルのrun_classifier.pyを実行と公式実装の簡単な解説を行います。
  https://github.com/google-research/bert
  (手順の共有とリポジトリやコードの解説をメインにしますので、実行に関しての
  個別フォローは行いません。実行についてはおまけ程度に考えているので、話の大枠
  の理解を優先いただけたらと思います。)

※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。
※ 以下進行にあたっての参考記事です。
↓BoWWord2vec
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial3self-attentionについて
https://lib-arts.hatenablog.com/entry/nlp_dl35https://lib-arts.hatenablog.com/entry/nlp_dl38


↓ハンズオンの概要(下記を動かします)
https://lib-arts.hatenablog.com/entry/nlp_dl6TensorFlow実装の解説
https://lib-arts.hatenablog.com/entry/nlp_dl7
https://lib-arts.hatenablog.com/entry/nlp_dl8

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5
https://lib-arts.hatenablog.com/entry/nlp_tutorial6

 電子書籍形式の方が良い方は下記よりご購入いただけます!
https://note.mu/lib_arts/n/n29437a435a8d

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日までの準備

希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習
モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)TensorFlow1.12.0で動作確認取ってますが、公式だと1.11.0
テスト済みとされています)のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク(約400MB
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
(話の分量自体多く解説がメインなので、こちらの準備ではマストではありません)
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。(1,3,5章中心に読むのが良いと思います。)
https://www.kspub.co.jp/book/detail/1529243.html
https://lib-arts.hatenablog.com/entry/nlp_dl11,3,5章読解メモ)
https://lib-arts.hatenablog.com/entry/nlp_dl44章読解メモ)

費用

5,000円(2h

 関連セミナー(19/5/75/286/167/168/68/189/910/811/1112/11
20/1/15)の参加者の方は3,000円とします。
 領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

8名(人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を
反映しません。)

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。(直前参加は定員的に問題なければ歓迎です!)
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います)

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published 関連論文とTensorFlow実装で理解するTransformer・BERTハンズオン.

01/16/2020 15:21

関連論文とTensorFlow実装で理解するTransformer・BERTハンズオン を公開しました!

Ended

2020/02/08(Sat)

16:00
18:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2020/01/16(Thu) 15:19 〜
2020/02/08(Sat) 18:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Attendees(2)

amiaka

amiaka

関連論文とTensorFlow実装で理解するTransformer・BERTハンズオン に参加を申し込みました!

SnowFox

SnowFox

関連論文とTensorFlow実装で理解するTransformer・BERTハンズオン に参加を申し込みました!

Attendees (2)

Canceled (2)