コンテンツカテゴリ
用語
AIによる要約
「DoRA: Weight-Decomposed Low-Rank Adaptation」という論文では、LoRAとその変種に代わるパラメータ効率の良い微調整方法としてDoRAを提案しています。DoRAは、事前訓練された重みを大きさと方向の二つの成分に分解し、方向の更新にLoRAを利用することで、訓練可能なパラメータの数を効率的に最小化します。
コンテンツ
タグ
テクニック
レベル
ツール
作成日時
Feb 20, 2024 6:27 AM
最終更新日時
Feb 20, 2024 6:31 AM
「DoRA: Weight-Decomposed Low-Rank Adaptation」という論文では、パラメータ効率の良い微調整方法としてLoRAとその変種が人気を博している中、DoRA（Weight-Decomposed Low-Rank Adaptation）を提案しています。DoRAは、事前訓練された重みを大きさと方向の二つの成分に分解し、方向の更新にLoRAを特に利用することで、訓練可能なパラメータの数を効率的に最小化します。この手法はLoRAの学習能力と訓練安定性を向上させるとともに、追加の推論オーバーヘッドを回避します。詳細はarXivのページでご確認ください。