評価データセット

言語モデルの能力を評価するために、特定の下流タスクに特化した多くのテストデータセットやベンチマークが開発されています。これらのテストは、一般的な知識、常識的な推論、数学的問題解決など、さまざまな能力を評価するために設計されています。

評価データセットの一般的なカテゴリ

1. 質問応答データセット: これは質問と正しい答えのペアで構成されています。例えば、「サンノゼ・シャークスはスタンレーカップを獲得したことがありますか？」という質問に対する答えとして「いいえ」というものがあります。
2. 「オープンブック」タスク: モデルのプロンプトに期待される答えを導き出すためのテキストが含まれている場合、そのタスクは「オープンブック」と見なされます。
3. 「クローズドブック」タスク: モデルが訓練中に保持した知識に基づいて回答する必要がある場合、そのタスクは「クローズドブック」と見なされます。

一般的に使用される質問応答データセット

• TruthfulQA
• Web Questions
• TriviaQA
• SQuAD

その他の評価データセットの形式

• テキスト補完: モデルがプロンプトを完成させるために最も可能性の高い単語や文を選択するタスク。

複合ベンチマーク

• GLUE
• SuperGLUE
• MMLU
• BIG-bench
• HELM

これらは、さまざまな評価データセットとタスクを組み合わせたものです。

以前は、評価データセットの保持された部分について、残りの部分で監督付きファインチューニングを行った後に結果を報告するのが標準でした。現在では、プロンプト技術を通じて事前訓練済みのモデルを直接評価することが一般的ですが、研究者によって特定のタスクのプロンプトをどのように形式化するかの詳細は異なります。これには、プロンプトに解決済みのタスクの例がいくつ添付されるか（つまり、nショットプロンプトにおけるnの値）などが含まれます。