「参数高效微调」共找到 1416 篇相关文章
高效智能体的「幕后推手」是谁?一篇综述带你从记忆×工具学习×规划看透
随着大模型能力提升,业界关注智能体落地,而高效性是决定能否上线的‘硬’问题。论文梳理‘高效智能体’综述,从记忆、工具学习、规划三机制出发,还谈及基准评测、挑战与展望。
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术,证明即使大幅减少LoRA的可训练参数,模型性能依然强劲。研究团队在多个任务上测试了LoRI,发现仅训练LoRA参数的5%,LoRI就能匹配或超越其他方法的性能。
项目在GitHub上已获得约3600+star,探秘 ChatDoctor:LLaMA 微调后的 AI 医生,真能在线问诊?
现代医疗资源不均、问诊效率低,ChatDoctor应运而生。它基于LLaMA微调,有医学对话微调等亮点,技术优势多,适用于在线问诊等场景,与同类对比优势明显,开源助力医疗对话模型发展。
直播预约 | 推理模型的“过思考”现象与高效推理,2.5h的深度分享
本期GenTalk学术分享邀请刘梓辰、齐朋辉等4位博士生,在2025年6月6日15:00 - 17:30带来“推理模型的‘过思考’现象与高效推理”报告,由夏鹤明主持,NICE学术等支持。将分析‘过思考’因素,总结高效推理思路。
微软刚发布Mu模型:支持Windows智能体,小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu,3.3亿参数性能比肩Phi - 3.5 - mini,体量小10倍,离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体,架构有多项创新,经训练优化后智能体表现出色。
ENG APPL COMP FLUID | 西北工业大学曹文博、张伟伟等:基于参数化神经网络求解器的层流翼型绕流代理模型
近年来,PINNs在流体力学中受关注,但在高维参数化与复杂流动问题中受限。西北工业大学曹文博团队基于TSONN构建层流翼型绕流参数化求解器,训练出强泛化能力的代理模型,为工程层流气动分析提供新方案。
成本不到8千美元!新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型,仅15亿参数、训练成本不足8000美元,却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则,分两阶段训练,性能出色,成本低且数据无污染。
CUTLASS CuTe GEMM细节分析(三)——Swizzle<B, M, S>模板参数的取值
文章以(8, 32):(32, 1)为例,探索确定Swizzle<B, M, S>中M、S和B参数的方法。指出M、S与PTX指令及共享内存多Bank结构相关,B用于指定Swizzle行数避免bank conflict,还给出不同Layout的参数取值。
预训练就学会思考!字节、北大等用14亿参数,撬动百亿模型推理能力
字节、北大等联合发布Ouro模型,用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考,通过三大创新构建推理能力,在基准测试中表现优异,实现参数效率提升,是潜在推理范式的胜利。
别再乱调图像塔了!浙大 IJCAI 论文揭露 VLM 非对称性真相,给 CLIP 微调「踩刹车」
浙大陈静远教授课题组等提出自适应非对称适配器,放弃对图像分支硬性微调,引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察,在多个数据集测试中表现优异。