In-Context Learning

In-Context Learning（文脈内学習）は、モデルは特定のタスクを実行するために、入力されたテキスト（文脈）を直接利用して学びます。これにより、モデルは事前トレーニングされた知識と、その時点で与えられた特定の入力例（文脈）から、新しいタスクを理解し、実行する能力を持ちます。

In-Context Learning（別名：RAG - Retrieval-Augmented Generation）では、タスク入力の前に指示を付加し、少数のサンプルを提供して、それらを事前に学習したLLMに入力します。

この場合、数百（または数千）の入力テキストを使ってモデルをファインチューニングするのではなく、モデルは、タスク固有の少数のサンプル （通常は10未満）と共に指示を受け取ることによって動作します。これらの サンプル（基本的に実行したいタスクの解法の例示）は、そのようなタスクを処理するための青写真をモデルに提供し、モデルが新しいタスクに迅速に適応して効果的に実行できるようにします。このプロセスでは、事前に学習したモデルの重みは固定されてます。その代わりに、プロンプトはLLMから望ましい出力を引き出すように設計され、最適化されます。言い換えれば、ここでは、基礎となるモデルのパラメータを変更することなく、指示と自然言語によってチューニングを行っていきます。

すでに公開されているファインチューニング済みモデルで、基本的な受け答えなどは満足だが、FM(基盤モデル)が知らない最新の情報や、自社にしかない特別な情報を解答の対象とするために、モデルが検索可能なデータベースを構築し、モデルに対するプロンプトの実行時にコンテクストとして追加情報を渡すことで、知識を拡張する手法です。