OpenToM

OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models

OpenToMは、AIの大規模言語モデル（LLM）の「心の理論」（Theory of Mind）能力を評価するためのベンチマークです。心の理論とは、他者の信念、欲求、感情、知識を理解し、予測する能力を指します。これは、AIが人間の社会的行動や心理状態を解釈し、適切に反応するために重要なスキルです。

OpenToMは、AIモデルがこの能力をどの程度持っているかを評価するために、複雑な物語性のあるシナリオや、キャラクターの精神状態に関する質問を用いてテストします。これにより、モデルが単に言葉の表層的な意味を理解するだけでなく、より深いレベルでの社会的文脈や人間の心理を解釈できるかどうかを評価することができます。

OpenToMを使用することで、研究者や開発者はAIモデルの心の理論能力の進歩を測定し、それをさらに向上させるための洞察を得ることができます。これは、より人間らしい対話や社会的な相互作用を可能にするAI技術の発展に寄与することが期待されています。

OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind...

Neural Theory-of-Mind (N-ToM), machine's ability to understand and keep track of the mental states of others, is pivotal in developing socially intelligent agents. However, prevalent N-ToM...

arxiv.org

LLMの「心の理論」能力を詳しく調べるためのベンチマーク『OpenToM』 | AIDB

人間同士の円滑なコミュニケーションに不可欠なのが「相手の考えや心理状態を理解する」能力で、専門用語では「心の理論」と言います。そしてAIシステムが人と上手く関わるためには、この「心の理論」の能力が必要です。

ai-data-base.com