「参数高效微调」共找到 1419 篇相关文章
英伟达笑到最后！训练2000步，1.5B逆袭7B巨兽，Scaling真来了
英伟达团队提出ProRL训练法，将强化学习扩展到超2000步。用此方法训练的15亿参数模型媲美70亿参数的Deepseek - R1 - 7B，在多任务中表现出色，解决了熵崩溃和训练不稳定问题。
如何让LLM的输出更有创造性和随机性？
文章指出让大模型生成随机创造性内容困难，介绍了调整温度和top_k参数等提升LLM创造性和随机性的方法，还提到min_p参数影响及外部引入随机性思路，不过LLM本质有局限，多智能体或可缓解。
微软发布GUI Agent新范式！告别传统方式，小参数少数据，7B吊打72B模型
微软发布GUI Agent新范式GUI - Actor，告别传统Agent定位死板、缺乏空间感和兼容性差等问题。它用无坐标交互技术，在测试中表现优异，省数据算力，未来在多领域有应用潜力。
看似无害的提问，也能偷走RAG系统的记忆——IKEA：隐蔽高效的数据提取攻击新范式
研究聚焦RAG系统，提出全新黑盒攻击方法IKEA。它不依赖异常指令，通过自然查询提取私有信息。经多数据集测试，其效率和成功率高，还证实提取知识实用，揭示RAG系统潜在脆弱性。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
中山大学HCP Lab联合拓元智慧提出高效世界模型DDP-WM，机器人规划效率提升9倍
中山大学人机物智能融合实验室联合拓元智慧提出新型高效世界模型框架DDP - WM。它解耦动态预测，在提升推理速度同时，提高规划成功率，如Push - T任务规划速度提9倍、成功率从90%升至98%。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
只需1/4预算，性能反超基线：阿里高德提出Tree-GRPO，高效破解智能体RL难题
阿里高德提出Tree - GRPO方法解决智能体RL难题。它以智能体步骤为节点树搜索，在11个数据集中更省预算、表现更好，能在1/4预算超GRPO基线，解决了Rollout成本高和监督稀疏问题。