コンテンツカテゴリ
用語
AIによる要約
OpenAI EvalsはOpenAIが提供するLLMコンポーネントの評価フレームワークであり、入力と期待する回答のデータセット、Evalクラスによる回答の評価、CompletionFnクラスによるLLMコンポーネントの定義を組み合わせて性能評価を行うことができる。
コンテンツ
タグ
モデル性能評価
レベル
ツール
ChatGPT
作成日時
Jan 29, 2024 7:32 AM
最終更新日時
Feb 7, 2024 5:30 AM
OpenAI Evals は OpenAI 社が提供するLLMコンポーネントの評価フレームワークです。
- LLMに対する入力と期待する回答の組み合わせのデータセット
- LLMによる回答と期待する回答の評価を行うEvalクラス
- LLMを呼び出すLLMコンポーネントを定義するCompletionFnクラス
この三つの要素を柔軟に組み合わせてLLMの性能評価を繰り返し定量的に行うことが出来るフレームワークとなっています。