Lang Smith Series

Feed元

LangChain

AI 要約

このプラットフォームは、ログ記録、監視、デバッグ、テスト、評価を行い、特にプロダクションモニタリングと自動化に焦点を当てています。新機能として、効果的なフィルタリング体験、監視チャート、スレッドビュー、自動化オプションが追加されました。これらの機能を組み合わせて実際の問題を解決する方法について、詳細なビデオと実用例を通じて解説します。

年月週

2024年4月3週

リンク

Why Evals Matter | LangSmith Evaluations - Part 1

With the rapid pace of AI, developers are often faced with a paradox of choice: how to choose the right prompt, how to trade-off LLM quality vs cost? Evaluations can accelerate development with structured process for making these decisions. But, we've heard that it is challenging to get started. So, we are launching a series of short videos focused on explaining how to perform evaluations using LangSmith. This video lays out 4 main considerations for evaluation: (1) dataset, (2) evaluator, (3) task, (4) how to apply evaluation to improve your product (e.g., unit tests, A/B tests, etc). Getting started documentation: https://docs.smith.langchain.com/evaluation

www.youtube.com

Why Evals Matter | LangSmith Evaluations - Part 1

動画概要

Lang Chainの「Lang Smith」というLLMシステム運用プラットフォームの新機能について紹介します。このプラットフォームは、ログ記録、監視、デバッグ、テスト、評価を行い、特にプロダクションモニタリングと自動化に焦点を当てています。

動画要約

Part1

Summary of Why Evals Matter | LangSmith Evaluations - Part 1

評価方法の基礎と実装についてのシリーズを始め、データセット、評価者、タスク、結果の解釈の4要素を解説。

summarize.ing

Part2

Summary of Evaluation Primitives | LangSmith Evaluations - Part 2

ランスミス評価の基礎を理解するためのビデオ。データセット、評価器、トレース、プロジェクトの概念を解説。

summarize.ing

Part3

Summary of Manually Curated Datasets | LangSmith Evaluations - Part 3

データセットの作成と評価方法を紹介するエドTechの動画。lsmithの使い方と、質問-回答ペアのデータセットの構築、編集、バージョン管理のデモンストレーションが含まれています。

summarize.ing

Part4

Summary of Datasets From Traces | LangSmith Evaluations - Part 4

データセット構築の方法を紹介。ユーザーログやQ&Aペアを用いたデータセットの作成と評価方法を学ぶ。

summarize.ing

Part5

Summary of Pre-Built Evaluators | LangSmith Evaluations - Part 5

データセットに基づくLM評価方法を学ぶ

summarize.ing

Part6

Summary of Custom Evaluators | LangSmith Evaluations - Part 6

シリーズ第6弾！LangChainの評価方法とカスタムエバリュエイターの作り方。

summarize.ing

Part7

Summary of Eval Comparisons | LangSmith Evaluations - Part 7

Lang Smith評価シリーズ第7弾。実用的な比較を通じて、misraとgp35 turboのローカルランを比較。データセットの作成からABテストまで、開発者が使えるツールと比較手法を紹介。

summarize.ing

Part8

Summary of Evaluations in the prompt playground | LangSmith Evaluations - Part 8

ランジスミス評価シリーズのエピソードで、プロンプトプレイグラウンドから直接評価を実行する方法を紹介。データセットの作成、LLMの選択、結果の分析など、迅速なテストを実現する方法を学ぶことができます。

summarize.ing

Part9

Summary of Attach evaluators to datasets | LangSmith Evaluations - Part 9

動画シリーズでLangChainのLanceが、データセットを使ったテストケースとLLM自動評価の方法を解説。

summarize.ing

Part10

Summary of Unit Tests | LangSmith Evaluations - Part 10

ランスがコード生成のユニットテストを通じて、言語モデルの応用とCIフローの活用について解説します。

summarize.ing

Part11

Summary of Summary Evaluators | LangSmith Evaluations - Part 11

ランスが言語モデルを用いた文章の評価プロセスと、精度と再現率を組み合わせた独自メトリックスの開発について解説します。

summarize.ing

Part12

Summary of RAG Evaluation (Answer Correctness) | LangSmith Evaluations - Part 12

ランチェインのLsmith評価シリーズ第12弾。QAの精度を向上させるための評価方法と、ランチェインの構築方法を解説。

summarize.ing

Part13

Summary of RAG Evaluation (Answer Hallucinations) | LangSmith Evaluations - Part 13

ランチェインの評価シリーズ第13弾。回答とリファレンスドキュメントの比較を通じて、ハラクション評価の方法を解説します。

summarize.ing

Part14

Summary of RAG Evaluation (Document Relevance) | LangSmith Evaluations - Part 14

ランチェインの14番目のビデオでは、ランチェインのドキュメンテーションを用いたRAG（Retrieval-Augmented Generation）の評価方法を解説しています。

summarize.ing

Part15

Summary of Regression Testing | LangSmith Evaluations - Part 15

ランダムアクセスメモリ（RAM）の評価とレグレッションテストの方法を解説。新しいオープンソースLLMをベースラインと比較し、改善点や問題点を特定する方法を学ぶことができます。

summarize.ing

Part16

Summary of RAG (evaluate intermediate steps) | LangSmith Evaluations - Part 16

ランスがRAG（Retrieval-Augmented Generation）の評価方法について解説。参照回答の評価、ハルカイン評価、ドキュメントの検索評価など、様々な手法を紹介し、評価コードの活用方法も解説しています。

summarize.ing

Part17

Summary of Pairwise Evaluation | LangSmith Evaluations - Part 17

AIと言語モデルを活用した学術論文の要約評価と比較を探求するウェブページです。

summarize.ing

Part19

Summary of Backtesting | LangSmith Evaluations - Part 19

プロダクションアプリのバックテストと比較評価のプロセスを紹介します。

summarize.ing

Part20

Summary of Online Evaluation (RAG) | LangSmith Evaluations - Part 20

オンライン評価ツールを使用して、アプリ生成の回答をリアルタイムで監視し、信頼性を高める方法を紹介。

summarize.ing

Part21

Summary of Online Evaluation (Guardrails) | LangSmith Evaluations - Part 21

オンライン評価ツールを使ってアプリの入力を監視し、個人情報や有害情報の検出を行う方法を紹介します。

summarize.ing

Part22

Summary of Dataset Splits | LangSmith Evaluation - Part 22

データセット分割の重要性と方法を解説。言語モデルのアップグレードと互換性を評価する。

summarize.ing

Part23

Summary of Repetitions | LangSmith Evaluation - Part 23

lsmith評価シリーズで繰り返しの重要性を解説。信頼性を高めるための評価の繰り返し実行の方法を紹介。

summarize.ing

Part24

Summary of Agent Response | LangSmith Evaluation - Part 24

ランゲージチェーンのエージェント評価シリーズを紹介。ツール呼び出しとループを活用したエージェントの構築と評価方法を解説。

summarize.ing

Part25

Summary of Single Step | LangSmith Evaluation - Part 25

エージェントの評価方法を紹介するシリーズ。ツール呼び出しとLLMの活用を解説。

summarize.ing

Part26

Summary of Agent Trajectory | LangSmith Evaluation - Part 26

エージェントの評価手法を学ぶ。SQLツールの呼び出しトラジェクトリーを分析し、エラーを特定して改善する方法を紹介。

summarize.ing