お知らせ 9月24日(木)10:00から2時間ほど、サーバーのメンテナンス作業を予定しております。作業の間はconnpassのご利用が出来ません。ご迷惑をおかけしますが何卒ご了承ください。

新機能 イベントメッセージの予約機能を追加しました。イベント主催者様は、参加者へのメッセージ送信を事前に予約できます。詳しくはこちらをご確認ください。

新機能 イベント詳細画面に「参加者への情報」欄を追加しました。イベント管理者、発表者、参加者(抽選中や補欠は除く)だけに表示されるフィールドです。詳しくはこちら

このエントリーをはてなブックマークに追加

May

28

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】

5/7開催の内容を元に内容をブラッシュアップしてお伝えします!!

Registration info

セミナー参加者枠

4000(Pay at the door)

FCFS
15/15

Description

内容概要

ここ最近BERTについてご質問いただくことが多いので企画させていただきました。
https://arxiv.org/abs/1810.04805
BERTは言語処理の事前学習(pre-trained)モデルとして役に立つのではということで
注目を浴びています。

今回は基礎知識〜トレンド〜論文の読解&TensorFlow実装を実際に動かし、簡単に実装の流れを掴みます。
Word2Vec、Seq2Seq、Transformerなどに触れながらBERTまで話をつなげていければと思います。

※
内容としては5/7に実施したものと同様の範囲で実施します。
https://ml-for-experts.connpass.com/event/127153/
前回開催で進行のイメージがついたので、1,000円値上げし4,000円での実施とさせていただきます。

開催日程

5/28(火)
受付: 19:50〜20:00
講義: 20:00〜22:00

※
途中5分ほどの休憩を設ける予定です。

アジェンダ

1. 言語処理の概論の復習&予備知識(30分)
      BoWとWord2Vec(局所表現と分散表現)
  言語モデルとニューラル言語モデル
  Seq2Seq(系列変換モデル)とEncoder-Decoder  etc

2. 論文を元にした解説(30分)
  Transformer[2017]
  BERT[2018]

3. 実装例を元にしたハンズオン(50分)
  下記を元にサンプルのrun_classifier.pyを実行と公式実装の簡単な解説を行います。
  https://github.com/google-research/bert
  (手順の共有とリポジトリやコードの解説をメインにしますので、実行に関しての
  個別フォローは行いません。実行についてはおまけ程度に考えているので、話の大枠
  の理解を優先いただけたらと思います。)

※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。
※ 以下進行にあたっての参考記事です
https://lib-arts.hatenablog.com/entry/nlp_dl1
https://lib-arts.hatenablog.com/entry/nlp_dl2
https://lib-arts.hatenablog.com/entry/nlp_dl3
https://lib-arts.hatenablog.com/entry/nlp_dl4
https://lib-arts.hatenablog.com/entry/nlp_dl5
https://lib-arts.hatenablog.com/entry/nlp_dl6
https://lib-arts.hatenablog.com/entry/nlp_dl7

会場

水道橋駅、神保町駅、九段下駅周辺
千代田区西神田2-7-14 YS西神田ビル2F

対象者

言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。
https://lib-arts.hatenablog.com/entry/nlp_tutorial1
https://lib-arts.hatenablog.com/entry/nlp_tutorial2
https://lib-arts.hatenablog.com/entry/nlp_tutorial3
https://lib-arts.hatenablog.com/entry/nlp_tutorial4
https://lib-arts.hatenablog.com/entry/nlp_tutorial5

講師プロフィール

東大工学部卒。
データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。
また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。
初心者向けの指導実績も多く、1,000名近い。

当日までの準備

希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習
モデルのダウンロードまで準備として行ってきていただけるとスムーズです。
https://github.com/google-research/bert
Python環境(3.6系推奨)とTensorFlow(1.12.0で動作確認取ってますが、公式だと1.11.0で
テスト済みとされています)のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip)
をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。
↓事前学習モデルのリンク(約400MB)
https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip
(話の分量自体多く解説がメインなので、こちらの準備ではマストではありません)
また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください。
https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e

関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、
こちらに軽く目を通した上での参加を推奨します。(1,3,5章中心に読むのが良いと思います。)
https://www.kspub.co.jp/book/detail/1529243.html

費用

4,000円

※
・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします

定員

15名(人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません)

ご参加にあたってのお願い

無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので
基本的に行わないようにお願いします。(直前参加は定員的に問題なければ歓迎です!)
体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、
イベントへのお問い合わせよりご連絡いただけますと嬉しいです。
上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて
いただきますので、その点だけ予めご了承ください。
(7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を
いただくということだけ気をつけていただければ大丈夫だと思います)

モチベーションの高い参加者の方を重視する運営としていきたいと考えています。
ご協力のほど、よろしくお願いいたします。

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

lib-arts-adm

lib-arts-adm published BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】.

05/10/2019 19:02

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】 を公開しました!

Ended

2019/05/28(Tue)

20:00
22:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2019/05/10(Fri) 19:02 〜
2019/05/28(Tue) 22:00

Location

水道橋駅周辺

千代田区西神田2-7-14 YS西神田ビル2F

Attendees(15)

nakamurakazuki

nakamurakazuki

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】 に参加を申し込みました!

killbutcher

killbutcher

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

mitsuyasu_sasaki

mitsuyasu_sasaki

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

kk.top.gear

kk.top.gear

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

Shotaro Gondo

Shotaro Gondo

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

hiro

hiro

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

mizki1204

mizki1204

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】 に参加を申し込みました!

popporz

popporz

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】 に参加を申し込みました!

mizuniru

mizuniru

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】に参加を申し込みました!

student

student

BERTの論文の解説とハンズオンを行う簡易セミナー【リターンズ】 に参加を申し込みました!

Attendees (15)

Canceled (2)