New ComputerがLangSmithでメモリ取得を50％向上

Feed元

LangChain

AI 要約

New ComputerはLangSmithでメモリ取得を50％向上させ、合成データを使い精度を40％向上させた。メタフィールドフィルターと会話プロンプトの調整が寄与した。

年月週

2024年7月1週

リンク

Improving Memory Retrieval: How New Computer achieved 50% higher recall with LangSmith

New Computer used LangSmith to improve their memory retrieval system, achieving 50% higher recall by tracking regressions in comparison view and adjusting conversation prompts accordingly.

blog.langchain.dev

Improving Memory Retrieval: How New Computer achieved 50% higher recall with LangSmith

記事概要

New ComputerはLangSmithを使用してメモリ取得システムを改良し、50％の高いリコールを達成した。合成ユーザーを用いたデータセットで精度を高め、会話プロンプトを調整することでパフォーマンスを向上させた。

記事要約

New ComputerはLangSmithを用いてメモリ取得を改善
合成データを使用して評価
メタフィールドフィルターを活用
50%高いリコール、40%高い精度を実現
会話プロンプトの調整でパフォーマンス向上

用語

用語	説明
リコール	正しい結果が全体の中でどれだけ取得できるかを示す指標
精度	取得された結果の中で正しいものの割合
メタフィールド	追加の情報フィールド、例：ステータス、日付
合成データ	現実のデータを模倣した人工データ
プロンプト	モデルに対する入力指示