报 告 人：林宙辰 教授，北京大学 

报告时间：4月18日（周六）14:30-17:00 

报告地点：东区3号楼302 

邀 请 人：马丽艳 副研究员

报告摘要： 现有的基于张量的参数高效微调（PEFT）方法，在训练过程中通常需要反复重构模型权重，由此产生巨大的计算与内存开销。为克服这些局限，我们提出无重构张量自适应方法ReFTA，该方法具备四大核心优势：借助张量代数特性，彻底避免了显式张量的反复重构；仅对张量主成分进行微调，有效降低量化误差；依托张量积方法的代数理论基础，具备严格的泛化性理论保证；采用统一化设计，仅通过单一张量秩参数即可完成调控。在图像分类与自然语言理解（NLU）任务上开展的大量实验表明，在所有对比方法中，ReFTA 实现了最优的精度 - 效率权衡。在绝大多数场景下，该方法以最少的可训练参数取得了最高的平均精度。例如在基于 RoBERTa-Large 的 NLU 任务中，ReFTA 相较现有多数方法将平均精度提升约 5%；同时，其参数量比秩为 1 的 LoRA 少 86.4%，比 PiSSA 少 97.5%。

报告人简介: 林宙辰，现任北京大学智能学院、通用人工智能国家重点实验室博雅特聘教授，于 2000 年获北京大学应用数学专业博士学位。研究方向包括机器学习与数值优化。已发表学术论文 360 余篇、专著 5 部，谷歌学术引用量超 43000 次，多次担任 ACML、ACCV、CVPR、ICCV、NIPS/NeurIPS、AAAI、IJCAI、ICLR、ICML 等会议领域主席与资深领域主席，并担任 ICPR 2022 程序委员会联合主席。现任 ICML 董事会成员，国际期刊TPAMI、IJCV和 Optimization Methods and Software的副主编，为IAPR、IEEE、CCF、AAIA和 CSIG会士，并获国家杰出青年科学基金资助。