BEGIN:VCALENDAR VERSION:2.0 PRODID:-//connpass.com//Connpass//EN CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:connpass-大規模AIの作り方を学ぼう："The Llama 3 H erd of Models"論文輪読会#5 X-WR-CALNAME:connpass-大規模AIの作り方を学ぼう："The Llama 3 H erd of Models"論文輪読会#5 X-WR-TIMEZONE:UTC BEGIN:VEVENT SUMMARY:大規模AIの作り方を学ぼう："The Llama 3 Herd of Models" 論文輪読会#5 DTSTART:20241002T100000Z DTEND:20241002T120000Z DTSTAMP:20261022T092520Z CATEGORIES: CREATED:20240919T003014Z DESCRIPTION:Llama Team AI @ Meta (2024): "The Llama 3 Herd of Models"\, ar Xiv cs.AI\,\n2407.21783の公開輪読会です。フィックスターズ のエンジニアが集まる勉強に、誰でも参加できます。\n \nMeta社が公開している大規模基盤モデルであるLlama3.1に ついて、その作成の過程などが解説されている論文を 読みます。\n\n## 概要\n\nこの輪読会は、ソフトウェアの 高速化を手掛ける株式会社フィックスターズの公開勉 強会です。「輪読会を社外公開にして、参加者と議論 ・交流しながら一緒に勉強しよう！」と、エンジニア が主導して企画・開催しています。\n\n * Llama3に興味が ある\n * 最先端のLLM、特に基盤モデルをどのように作 るのか知りたい\n * 大規模AIの作成過程を通して、大規 模並列処理や高性能計算(HPC)の知見を得たい\n * 英語の 論文を1人で読み進めるのはつらいので、日本語の解説 がほしい\n\nなど、一緒にこの論文を読んで勉強したい 方は、レベル問わず歓迎します！\n\n聴講・議論・質問 ・コメントなど、自由なスタイルでご参加ください。 発表はフィックスターズのメンバーが分担します。\n\n# # 輪読対象の論文\n\n * https://doi.org/10.48550/arXiv.2407.21783 から各自でお手元にダウンロード・印刷等で準備の上 、ご参加ください\n\n## 当日スケジュール\n\n時間 | 内容 \n---|--- \n18:45-19:00 | 開場 \n19:00-19:05 | 開始、会場諸注 意など \n19:05-20:30 | 発表（内容と質疑等の活発さによ って、30分程度前後する可能性があります） \n20:30-21:00 | 雑談・感想など（オフライン懇親会） \n \n## 会場に ついて\n\nフィックスターズ本社（JR田町駅）でのオフ ライン開催となります。 開場時間の間に、28階まで直 接お越しください。セミナー室入口にて受付いたしま す。\n輪読会は、単なる聴講だけではなく質問や議論な どの相互的なやりとりを通じて理解を深める形式の勉 強会ですので、ぜひ会場までお越しください。\n\nまた 、どうしてもオフラインでのご参加が難しい方のため に、Google Meetを通したオンライン配信で、聴講のみのご 参加も可能です。\nURLは参加登録した方に別途ご連絡い たします。開催時刻になりましたら、案内されたURLへ ご接続ください。\nただし、イベントの運営形式上、オ ンライン聴講者の方からの音声やコメント等は拾えな い可能性が高いことに、ご留意ください。\n\n## 今後の 開催予定\n\n週1回程度の頻度で、全12回の開催を予定し ています。 毎週水曜19時から開催を予定しており、下 記のような開催日程で計画しています。\nただし、事情 により変更になる可能性もあるため、実際の開催日時 は、直前の回での案内と実際のconnpassページをご確認く ださい。\n\n回 | 章 | 開催（予定）日 \n---|---|--- \n#1 | 1 \\. Introduction \n2\\. General Overview \n3\\. Pre-Training \n3.1 Pre- Training Data | 08/28 \n#2 | 3\\. Pre-Training \n3.2 Model Architecture \n3.3 Infrastructure\, Scaling\, and Efficiency \n3.3.1 Training Infrast ructure | 09/04 \n#3 | 3\\. Pre-Training \n3.3 Infrastructure\, Scaling\ , and Efficiency \n3.3.2 Parallelism for Model Scaling \n3.3.3 Collectiv e Communication \n3.3.4 Reliability and Operational Challenges \n3.4 Tra ining Recipe | 09/11 \n#4 | 4\\. Post-Training \n4.1 Modeling | 09/18 \ n#5 | 4\\. Post-Training \n4.2 Post-Training Data \n4.3 Capabilities \n 4.3.1 Code \n4.3.2 Long Context | 10/02（今回） \n#6 | 4\\. Post-Tra ining \n4.3 Capabilities \n4.3.3 Math and Reasoning \n4.3.4 Multilingua lity \n4.3.4 Tool Use \n4.3.5 Factuality \n4.3.6 Steerability | 10/09 \n#7 | 5\\. Results \n5.1 Pre-trained Language Model \n5.2 Post-trained Language Model \n5.3 Human Evaluations | 10/16 \n#8 | 5\\. Results \n5. 4 Safety | 10/23 \n#9 | 6\\. Inference \n7\\. Vision Experiments \n7.1 Data \n| 10/30 \n#10 | 7\\. Vision Experiments \n7.2 Model Architecture \n7.3 Model Scaling \n7.4 Pre-Training \n7.5 Post-Training | 11/06 \n #11 | 7\\. Vision Experiments \n7.6 Image Recognition Results \n7.7 Vide o Recognition Results | 11/13 \n#12 | 8\\. Speech Experiments \n10.Concl usion | 11/20 \n \n## よくある質問\n\n * Q. フィックスター ズについての説明などはありますか？\n * A. いいえ。 あくまで輪読会のイベントなので、会社紹介は予定し ておりません。公式の会社紹介は、会社説明会などを ご利用ください。会の最後に雑談や感想を話す交流の 時間も用意していますので、そちらも合わせてご利用 ください。\n * Q. 毎回参加が必須ですか？ / 前回不参 加でしたが参加可能ですか？\n * A. 参加したい回にご 参加ください。ただし、発表は前回までの内容を踏ま えた内容となります。\n * Q. 会について質問がありま す\n * A. connpass上の"イベント管理者へお問い合わせ" からご質問ください。なお、回答については、皆さま への全体配信にて代えさせていただくことがあります 。\n\n## 宣伝\n\nフィックスターズでは、LLMの研究開発を 効率化するクラウド"Fixstars\nK4"をはじめとした、LLM開発 基盤に関するサービスおよび研究開発をおこなってい ます。\n\nサービスをご検討の方はウェブフォームより お問い合わせください。\n\nまた、本事業を一緒に推進 する開発メンバーも募集しておりますので、ご興味あ りましたら、お問い合わせいただくか、懇親会でフィ ックスターズ社員にお気軽にお声がけください。\n\nhttp s://fixstars-engineers.connpass.com/event/331598/ LOCATION:東京都港区芝浦3-1-1 (msb Tamachi 田町ステーション タワーN 28階) (株式会社フィックスターズ 本社) URL:https://fixstars-engineers.connpass.com/event/331598/ END:VEVENT END:VCALENDAR