DoRA

「DoRA: Weight-Decomposed Low-Rank Adaptation」という論文では、パラメータ効率の良い微調整方法としてLoRAとその変種が人気を博している中、DoRA（Weight-Decomposed Low-Rank Adaptation）を提案しています。DoRAは、事前訓練された重みを大きさと方向の二つの成分に分解し、方向の更新にLoRAを特に利用することで、訓練可能なパラメータの数を効率的に最小化します。この手法はLoRAの学習能力と訓練安定性を向上させるとともに、追加の推論オーバーヘッドを回避します。詳細はarXivのページでご確認ください。