RLHF(人間のフィードバックによる強化学習)

RLHF（人間のフィードバックによる強化学習）とは

インストラクションチューニングの後に人間のフィードバックを取り入れ、モデルのパフォーマンスを向上させる手法です。

RLHFは一般的に次のような仕組みになっています：

• ステップ1：インストラクションチューニング - 望ましいモデルの振る舞いを示すラベラーのデータセットを収集し、それを使って、教師あり学習を使用して学習済みLLMを微調整する。
• ステップ2：与えられた入力に対してラベラーがどちらの出力を好むかを示す、モデルの出力間の比較のデータセットを収集。次に、人間が好む出力を予測する報酬モデルをトレーニングする。
• ステップ3：トレーニングされた報酬モデルを用いて、強化学習を通じて報酬モデルに対するポリシーを最適化する。

現在までに、RLHFはInstructGPTとChatGPTにおいて、学習済みGPTと比較して性能低下を最小限に抑えながら、真実性の向上と有害な出力生成の低減を実現し、非常に有望な結果を示しています。 RLHFは、「アラインメント税」と呼ばれるように、いくつかの下流タスクにおいてモデルの性能を若干低下させるという代償を伴うことが知られています。Scale AI、Labelbox、Surge、Label Studioなどの企業は、RLHFをサービスとして提供しているので、この手法の導入を検討している場合は、全てを自社で実施する必要はありません。 RLHFの技術を使用することで、より望ましい出力をさせるためのコストを最小化することができるという有望な研究結果が示されており、絶対に検討する価値があります。