LangSmithはLangChainの本番環境で使用するためのデベロッパーツールであり、LLMの実行ログの収集、LLMの出力結果のデータセット化、登録したデータセットによるモデルの評価などの機能を提供しています。詳細はLangSmithを参照してください。
LangSmithは、LangChainに基づいたツールで、LLM（Large Language Model）アプリケーションの開発とデバッグを支援します。
LangSmithの特徴と利点
自動トレース:
すべてのLLM、チェーン、エージェントの呼び出しを自動的に記録。 PythonやJavaScriptの環境変数を通じて有効化。
デバッグ支援:
LLMの入力と出力の詳細な可視化。 非決定的なLLMコールや予想外の結果の理解と解析。
プロンプトの編集とテスト:
不具合のあるLLMコールを特定し、プロンプトを編集して再テスト。 独自のプレイグラウンドを通じて、出力の変化を観察。
パフォーマンスの最適化:
チェーンやエージェントのシーケンスの視覚化。 各ステップのレイテンシとトークン使用量の追跡。
コラボレーション:
"Share"ボタンを通じて、チェーンとLLMの実行を共有。
データセットの構築とテスト:
失敗したチェーンの分析とデータセットへの追加。 "Add to Dataset"ボタンを使い、入出力例をデータセットに追加。 データセット上でのプロンプトやチェーンの変更のテスト。
評価とフィードバック:
自動評価メトリクスと人間のレビューを組み合わせた評価。 キューによるランの選択とアノテーション。
監視とトラブルシューティング:
トレースの記録とレイテンシ、トークン使用の視覚化。 文字列タグやキーバリューのメタデータを用いた実行のフィルタリング。
ドキュメントと統合:
ログからのインサイト抽出とサードパーティとの統合のガイド。