LoRA

「LoRA: 大規模言語モデルの低ランク適応」という論文では、大規模事前学習済み言語モデルを特定のタスクやドメインに適応させる新しい手法、LoRA（Low-Rank Adaptation）を提案しています。LoRAは、トランスフォーマーアーキテクチャの各層に、訓練可能なランク分解行列を注入することで、下流タスクの訓練可能なパラメータの数を大幅に削減します。この方法は、GPT-3などの大規模モデルの微調整をより効率的に行うことを可能にし、GPUメモリ要件を3倍削減しながら、モデル品質を維持または向上させることができます。論文の詳細は、arXivのページで確認できます。