Perplexity

Perplexityは、モデルがデータセットの内容をどれだけうまく予測できるかを測る指標です。 モデルがデータセットに割り当てる尤度が高いほど、Perplexityは低くなります。

数学的には、Perplexityはトークンごとの平均負の対数尤度の指数として定義されます：

要約すると、この数式はモデルが特定のテキストコーパスをどれだけ「予想外」または「予想通り」に見つけるかを数値化します。Perplexityが低いほど、モデルはテキストをよりよく予測できていると考えられます。逆に、Perplexityが高い場合、モデルはテキストの予測に苦労していることを意味します。