BEGIN:VCALENDAR VERSION:2.0 PRODID:-//connpass.com//Connpass//EN CALSCALE:GREGORIAN METHOD:PUBLISH X-WR-CALDESC:connpass-LLM Night〜LLMアプリケーションの評価の 実運用〜 X-WR-CALNAME:connpass-LLM Night〜LLMアプリケーションの評価の 実運用〜 X-WR-TIMEZONE:UTC BEGIN:VEVENT SUMMARY:LLM Night〜LLMアプリケーションの評価の実運用〜 DTSTART:20241127T103000Z DTEND:20241127T120000Z DTSTAMP:20260717T182116Z CATEGORIES: CREATED:20241025T060340Z DESCRIPTION:# 概要\n\nLLMアプリケーションの開発が行われ るようになり、本番運用している企業も増えてきまし た。\nよいLLMアプリケーションを作るための工夫として のプロンプトエンジニアリングやRAGなどの手法は、広 く知られるようになってきました。\n\n一方、LLMの実験 管理や評価の方法についてはまだベストプラクティス が出揃っておらず、各社が手探りで行っているような 状態です。評価ができなれば、どれだけLLMアプリケー ションの精度改善のプラクティスが出ても、継続的に 精度改善していくことはできません。\nまた、本番運用 されるLLMアプリケーションは、精度やビジネスインパ クトへの評価だけではなく、コストやレイテンシーを 継続的にモニタリングしていくことも重要です。\n\n今 回はLLMアプリケーションの評価に取り組む各社にお集 まりいただき、評価に関する知見や工夫を整理して発 表しただきたいと思います。\n\n# こんな人におすすめ\n \n * LLMアプリケーション開発の最新トレンドを知りた い方\n * LLMアプリケーションの実験管理・評価につい て他社事例などを詳しく知りたい方\n * LLMアプリケー ションを開発して本番運用しているorしようとしている PdM・エンジニアの方\n * 特にLLM生成AIを改善していくLLM Opsの具体的な方法が知りたい方\n\n# 対象者\n\n * 生成AI/ LLMを活用したアプリケーション開発をして運用してい る方\n * これから生成AI/LLMを活用したアプリケーショ ン開発をしようとしている方\n * AI・LLMの基礎知識のあ る方（LLMとはなにか？というような基礎的なお話はあ りません）\n\n# 登壇企業\n\n## PharmaX株式会社\n\n### LTタ イトル: LLMアプリケーションの評価と継続的改善\n\nPharm aXは、健康を一生涯サポートするかかりつけオンライン 薬局『YOJO』を運営しています。\nYOJOでは、LLMのマルチ エージェント・アプリケーションを構築し、メッセー ジの薬剤師への提案や一部自動送信を行っています。\n LLMアプリケーションを評価し、継続的に改善する手法 について語ります。\n\n## 株式会社Citadel AI\n\n### LTタイ トル：LLMOps: Eval-Centric を前提としたMLOps\n\n機械学習モ デルの運用には困難がつきまとうことはよく知られ、 それらへの対策は MLOps という知識体系にまとめられま した。しかし、MLOps\nの知識体系をもってしても LLM を 利用したアプリケーションを運用することは容易では なく、とくに評価は既存の知識体型では不足します。 ここでは LLM\nの運用は既存の知識以上のものが求めら れる理由と、運用上の課題、そして新たに発見された L LM のベストプラクティスについて紹介します。\n\n## 株 式会社Gaudiy\n\n### LTタイトル：継続的な評価基準と評価 の実行の仕方をアップデートするワークフロー\n\nLLMを 使ったプロダクトを世に出す上では評価が肝です。で すが最初から評価基準が見えきっていることなどはあ り得ず、また初期からプロダクトの価値に貢献するLLM の使い方か分からない内にオフライン評価に投資し過 ぎるのも得策ではありません。\nこのため「継続的に評 価基準をアップデートしていく」ということを念頭に 置くことが大事です。このLTではそんなアップデートし ていくワークフローについて語ります。\n\n# 開催概要\n \n日程：2024年11月27日（水）19:30〜21:00 （10分前から入室 可能です）\n\n開催場所：オンライン（Zoom・申込者にURL を後日ご案内します）\n\n開催前日、メールにて視聴URL をお送りしますので必ずご確認ください（※connpassペー ジの「参加者への情報」にも記載します）\n\n# タイム テーブル\n\n時刻 | 内容 \n---|--- \n19:20 | 開場 \n19:30 | オープニング \n19:40 | 各社のLT \n20:40 | パネルディスカ ッション \n20:50 | Q&A \n20:55 | まとめ \n21:00 | 閉会 \n \n # 登壇者プロフィール\n\n### PharmaX株式会社 取締役・エ ンジニアリング責任者 上野彰大\n\n東京大学農学生命科 学研究科卒業。大阪府堺市出身。新卒でIGPI（経営共創 基盤）に入社し、2018年12月にPharmaX株式会社（旧・株式 会社YOJO\nTechnologies）を共同創業。全社戦略、エンジニ アリング責任者。趣味でエンジニアリング勉強会を数 年続けている。得意なのは、統計、機械学習、データ 分析。\n\nコーポレートサイト\n\n採用ページ\n\n### 株式 会社Citadel AI Software Engineer 杉山 阿聖\n\nCitadel AI にてソ フトウェアエンジニアとしてプロダクト開発に従事。Go ogle Cloud の Champion Innovator\n(AI/ML) に選定されたほか、MLSE (機械学習工学会) で MLOps に関するワーキンググループ を主催し、MLOps\nに関する事例・知識の普及に務める。 「見て試してわかる機械学習アルゴリズムの仕組み 機 械学習図鑑 (翔泳社)」「事例でわかるMLOps\n機械学習の 成果をスケールさせる処方箋 (講談社)」を共著。\n\nコ ーポレートサイト\n\n採用ページ\n\n### 株式会社Gaudiy seya LLMアプリエンジニア\n\nNY州立大学 Stony Brook Computer Scienc e\n科卒業後、ソフトウェアエンジニアとして働き始め る。フロントエンドエンジニアとして長年働いていた が、2023年6月に Gaudiy\nに入社後、LLMの楽しさに魅せられ LLMアプリエンジニアに転身。現在はLLMを使ったアプリ ケーション開発・運用に取り組む。\n\nコーポレートサ イト\n\n採用ページ\n\n## モデレータプロフィール\n\n### P harmaX株式会社 エンジニアリングマネージャー 古家大\n\ nニフティ株式会社に新卒入社後、バックエンドエンジ ニアとして開発を担当し、ベトナムのオフショア開発 組織の立ち上げを経験。\nオフショア開発組織の国内チ ーム統合とリプレースまでリードエンジニアとして主 導。2016年よりフリーランスに転向。多くの企業でエン ジニアとして豊富な経験を積んだ後、PharmaX株式会社に 入社し、\nデータ分析基盤の構築や薬局DXを支援するサ ービスのフロントエンド開発のリードエンジニアを務 めつつ、アジャイルの推進活動を行う。\n2023年からエ ンジニアリングマネージャーに就任。「一人一人のモ チベーションを引き出し、エンジニアとしての成長と 事業の成長を両立すること」を目指し、エンジニアが 成長する機会を創出できるよう最高のプロダクト/組織 を生み出すことに日々向き合っている。\n\n# 注意事項\n \n * 講演内容やタイムスケジュールは変更となる可能 性がございます。\n\n * 当日のイベント内容は後日任意 の媒体にて公開させていただくことがあります。\n\n * 万一イベント開催が中止の場合、本サイトからのメッ セージよりご連絡させていただきますのでご確認をお 願いいたします。\n\n#### プライバシーポリシー\n\nPharmaX 株式会社\n\n※ご提供いただいた個人情報は、イベント の運営・管理、イベントの改善又は新規企画のための 分析、当社の採用情報等のご案内で利用いたします。\n また、当該個人情報・内容は、ご本人様の同意を得ず に、第三者への提供はいたしません。\n\n#### 主催\n\nPhar maX株式会社\n\nコーポレートサイト\n\n採用ページ\n\nhttps ://yojo.connpass.com/event/335365/ LOCATION: (オンライン) URL:https://yojo.connpass.com/event/335365/ END:VEVENT END:VCALENDAR