募集内容 |
セミナー参加者枠 4000円(会場払い)
先着順
|
---|---|
申込者 | 申込者一覧を見る |
開催日時 |
2019/05/28(火) 20:00 ~ 22:00
|
募集期間 |
2019/05/10(金) 19:02
〜 |
会場 |
水道橋駅周辺予定、詳細は確定後に反映させます |
イベントの説明
内容概要
ここ最近BERTについてご質問いただくことが多いので企画させていただきました。 https://arxiv.org/abs/1810.04805 BERTは言語処理の事前学習(pre-trained)モデルとして役に立つのではということで 注目を浴びています。 今回は基礎知識〜トレンド〜論文の読解&TensorFlow実装を実際に動かし、簡単に実装の流れを掴みます。 Word2Vec、Seq2Seq、Transformerなどに触れながらBERTまで話をつなげていければと思います。 ※ 内容としては5/7に実施したものと同様の範囲で実施します。 https://ml-for-experts.connpass.com/event/127153/ 前回開催で進行のイメージがついたので、1,000円値上げし4,000円での実施とさせていただきます。
開催日程
5/28(火) 受付: 19:50〜20:00 講義: 20:00〜22:00 ※ 途中5分ほどの休憩を設ける予定です。
アジェンダ
1. 言語処理の概論の復習&予備知識(30分) BoWとWord2Vec(局所表現と分散表現) 言語モデルとニューラル言語モデル Seq2Seq(系列変換モデル)とEncoder-Decoder etc 2. 論文を元にした解説(30分) Transformer[2017] BERT[2018] 3. 実装例を元にしたハンズオン(50分) 下記を元にサンプルのrun_classifier.pyを実行と公式実装の簡単な解説を行います。 https://github.com/google-research/bert (手順の共有とリポジトリやコードの解説をメインにしますので、実行に関しての 個別フォローは行いません。実行についてはおまけ程度に考えているので、話の大枠 の理解を優先いただけたらと思います。) ※ 全体の流れは変えませんが、細かい時間配分は内容踏まえて変更する可能性があります。 ※ 以下進行にあたっての参考記事です https://lib-arts.hatenablog.com/entry/nlp_dl1 https://lib-arts.hatenablog.com/entry/nlp_dl2 https://lib-arts.hatenablog.com/entry/nlp_dl3 https://lib-arts.hatenablog.com/entry/nlp_dl4 https://lib-arts.hatenablog.com/entry/nlp_dl5 https://lib-arts.hatenablog.com/entry/nlp_dl6 https://lib-arts.hatenablog.com/entry/nlp_dl7
会場
水道橋駅、神保町駅、九段下駅周辺 千代田区西神田2-7-14 YS西神田ビル2F
対象者
言語処理の基本の理解を前提としますので、下記の記事の内容を把握しているものとして進行します。 https://lib-arts.hatenablog.com/entry/nlp_tutorial1 https://lib-arts.hatenablog.com/entry/nlp_tutorial2 https://lib-arts.hatenablog.com/entry/nlp_tutorial3 https://lib-arts.hatenablog.com/entry/nlp_tutorial4 https://lib-arts.hatenablog.com/entry/nlp_tutorial5
講師プロフィール
東大工学部卒。 データ分析/AI開発の仕事の経験は7年ほどで、理論/開発/ビジネスのどれも経験があり強い。 また、多くの業界のプロジェクトに関わったためドメイン知識も豊富。 初心者向けの指導実績も多く、1,000名近い。
当日までの準備
希望者は下記の公式を元に実行まで行っていただけたらと思いますので、環境の構築と事前学習 モデルのダウンロードまで準備として行ってきていただけるとスムーズです。 https://github.com/google-research/bert Python環境(3.6系推奨)とTensorFlow(1.12.0で動作確認取ってますが、公式だと1.11.0で テスト済みとされています)のインストールとpre-trainedモデル(uncased_L-12_H-768_A-12.zip) をダウンロードをお願いします。回線混み合わなければその場でダウンロードも可です。 ↓事前学習モデルのリンク(約400MB) https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip (話の分量自体多く解説がメインなので、こちらの準備ではマストではありません) また下記のスクリプトを用いてGLUEのデータもダウンロードしておいてください。 https://gist.github.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e 関連分野について事前知識が欲しい方は「深層学習による自然言語処理」が非常に良い本なので、 こちらに軽く目を通した上での参加を推奨します。(1,3,5章中心に読むのが良いと思います。) https://www.kspub.co.jp/book/detail/1529243.html
費用
4,000円 ※ ・領収書発行の際は事務手数料として追加1,000円のお支払いをよろしくお願いいたします
定員
15名(人数に合わせて調整します、別媒体でも募集していますので申し込み人数は当日参加者数を反映しません)
ご参加にあたってのお願い
無断欠席や前日以降のキャンセルに関しては当日人数読めなくなり非常に迷惑なので 基本的に行わないようにお願いします。(直前参加は定員的に問題なければ歓迎です!) 体調不良、職務都合、ご家庭の事情などどうしてものケースは別途ご連絡いただくか、 イベントへのお問い合わせよりご連絡いただけますと嬉しいです。 上記がひどいアカウントに関してはブラックリスト処理を行い以後の参加をお断りさせて いただきますので、その点だけ予めご了承ください。 (7割以上来れる前提でのお申し込みと前日以降のキャンセルはメッセージでのご連絡を いただくということだけ気をつけていただければ大丈夫だと思います) モチベーションの高い参加者の方を重視する運営としていきたいと考えています。 ご協力のほど、よろしくお願いいたします。
資料 資料をもっと見る/編集する
資料が投稿されると、最新の3件が表示されます。