论文标题：A survey on LoRA of large language models

期刊：Frontiers of Computer Science

作者：Yuren MAO, Yuhang GE, Yijiang FAN, Wenyi XU, Yu MI, Zhonghao HU, Yunjun GAO

发表时间：12 Aug 2024

DOI：10.1007/s11704-024-40663-9

微信链接：点击此处阅读微信文章

引用格式：

Yuren MAO, Yuhang GE, Yijiang FAN, Wenyi XU, Yu MI, Zhonghao HU, Yunjun GAO. A survey on LoRA of large language models. Front. Comput. Sci., 2025, 19(7): 197605

阅读原文：

文章概述

LoRA通过更新可插拔的低秩矩阵来调整密集神经网络层，是表现最佳的参数高效微调范式之一，在跨任务泛化和隐私保护方面具有显著优势。在大语言模型快速发展的背景下，LoRA备受关注，相关文献数量激增。为了全面概述LoRA的当前进展，作者撰写了大型语言模型的LoRA综述。

技术步骤

从多个维度对LoRA的进展进行了细致的分类与总结。具体包括：(1) 针对特定任务设计LoRA变体；(2) 通过整合多个LoRA插件，实现跨任务泛化；(3) 提高LoRA计算效率的技术；(4) 在联邦学习框架下，利用LoRA进行数据隐私保护的方法；以及 (5) LoRA在各个领域的多样化应用。

总结

LoRA具有参数效率高、可插拔、兼容性强和易于实现跨任务泛化的特点，这使其成为LLM应用中最重要的技术之一。在本综述中，我们系统地回顾了LoRA在下游任务适应性提升、跨任务泛化、效率提升、联邦学习及其应用方面的最新进展。这些进展进一步提升了LoRA 的泛化能力和效率，激发了其在更多场景中应用的潜力。

中国学术前沿期刊网

http://journal.hep.com.cn