TK的小站

“大语言模型”

HydraLoRA 论文阅读:为什么多个 LoRA 可以共享 A,却保留不同的 B?

微调数据里同时有摘要、问答和信息抽取时,我们通常会把它们混在一起,训练一套 LoRA。但这些任务需要的能力并不完全相同:共用少量参数,会不会让它们互相干扰?如果改成多套 LoRA,又有哪些参数其实没有必要重复保存? HydraLoRA 就从这个问题出发。它把普通 LoRA 的一对矩阵拆成了一个共享的 A,加上多个不同的 B,再根据输入动态组合这些分支。 这篇笔记先补齐理解方法所需的 LoRA 基础,再沿着“观察 → 结构 → 实验 → 边界”阅读论文。文末留了一份速记,方便以后回忆。