LoRA vs Full Fine-Tuning: an illusion of equivalence #paper
Статья трёхнедельной давности, в которой обсуждается разницу между fine-tuning с помощью LoRA и full fine-tuning (FFT). Авторы задаются вопросом: являются ли решения полученные с помощью LoRA и FFT одинаковыми, при условии, что показывают схожее качество. Выясняется, что не всё так просто.
Оказывается, что LoRA и FFT выдают разные на структурном уровне решения, в частности внутри весов LoRA возникают intruder dimensions — сингулярные векторы при больших сингулярных числах, которые примерно ортогональны сингулярным векторам весов оригинальной модели, что приводит к затиранию информации содержащейся в изначальных весах. Это выполняется даже в тех случаях, когда обученные с помощью LoRA модели показывают хорошее (сопоставимое) качество с FFT на downstream task. Наконец, чем выше ранг LoRA, тем меньше возникает проблем описанных выше.
Проблему intruder dimensions авторы связывают с использованием матриц низкого ранга. Для того чтобы бороться с ней предлагается использовать технику rank-stabilization (домножать результат произведения матриц LoRA на γ = α / rank ** 0.5) вместе с увеличением ранга обучаемой LoRA, либо использовать FFT. Для первого случая авторы советуют использовать α = 2 * rank.
📜Paper
@gentech_lab
Статья трёхнедельной давности, в которой обсуждается разницу между fine-tuning с помощью LoRA и full fine-tuning (FFT). Авторы задаются вопросом: являются ли решения полученные с помощью LoRA и FFT одинаковыми, при условии, что показывают схожее качество. Выясняется, что не всё так просто.
Оказывается, что LoRA и FFT выдают разные на структурном уровне решения, в частности внутри весов LoRA возникают intruder dimensions — сингулярные векторы при больших сингулярных числах, которые примерно ортогональны сингулярным векторам весов оригинальной модели, что приводит к затиранию информации содержащейся в изначальных весах. Это выполняется даже в тех случаях, когда обученные с помощью LoRA модели показывают хорошее (сопоставимое) качество с FFT на downstream task. Наконец, чем выше ранг LoRA, тем меньше возникает проблем описанных выше.
Проблему intruder dimensions авторы связывают с использованием матриц низкого ранга. Для того чтобы бороться с ней предлагается использовать технику rank-stabilization (домножать результат произведения матриц LoRA на γ = α / rank ** 0.5) вместе с увеличением ранга обучаемой LoRA, либо использовать FFT. Для первого случая авторы советуют использовать α = 2 * rank.
📜Paper
@gentech_lab
group-telegram.com/gentech_lab/78
Create:
Last Update:
Last Update:
LoRA vs Full Fine-Tuning: an illusion of equivalence #paper
Статья трёхнедельной давности, в которой обсуждается разницу между fine-tuning с помощью LoRA и full fine-tuning (FFT). Авторы задаются вопросом: являются ли решения полученные с помощью LoRA и FFT одинаковыми, при условии, что показывают схожее качество. Выясняется, что не всё так просто.
Оказывается, что LoRA и FFT выдают разные на структурном уровне решения, в частности внутри весов LoRA возникают intruder dimensions — сингулярные векторы при больших сингулярных числах, которые примерно ортогональны сингулярным векторам весов оригинальной модели, что приводит к затиранию информации содержащейся в изначальных весах. Это выполняется даже в тех случаях, когда обученные с помощью LoRA модели показывают хорошее (сопоставимое) качество с FFT на downstream task. Наконец, чем выше ранг LoRA, тем меньше возникает проблем описанных выше.
Проблему intruder dimensions авторы связывают с использованием матриц низкого ранга. Для того чтобы бороться с ней предлагается использовать технику rank-stabilization (домножать результат произведения матриц LoRA на γ = α / rank ** 0.5) вместе с увеличением ранга обучаемой LoRA, либо использовать FFT. Для первого случая авторы советуют использовать α = 2 * rank.
📜Paper
@gentech_lab
Статья трёхнедельной давности, в которой обсуждается разницу между fine-tuning с помощью LoRA и full fine-tuning (FFT). Авторы задаются вопросом: являются ли решения полученные с помощью LoRA и FFT одинаковыми, при условии, что показывают схожее качество. Выясняется, что не всё так просто.
Оказывается, что LoRA и FFT выдают разные на структурном уровне решения, в частности внутри весов LoRA возникают intruder dimensions — сингулярные векторы при больших сингулярных числах, которые примерно ортогональны сингулярным векторам весов оригинальной модели, что приводит к затиранию информации содержащейся в изначальных весах. Это выполняется даже в тех случаях, когда обученные с помощью LoRA модели показывают хорошее (сопоставимое) качество с FFT на downstream task. Наконец, чем выше ранг LoRA, тем меньше возникает проблем описанных выше.
Проблему intruder dimensions авторы связывают с использованием матриц низкого ранга. Для того чтобы бороться с ней предлагается использовать технику rank-stabilization (домножать результат произведения матриц LoRA на γ = α / rank ** 0.5) вместе с увеличением ранга обучаемой LoRA, либо использовать FFT. Для первого случая авторы советуют использовать α = 2 * rank.
📜Paper
@gentech_lab
BY Gentech Lab
Share with your friend now:
group-telegram.com/gentech_lab/78