动态训练策略」共找到 3052 篇相关文章

算法论文8

东方理工团队提出HiDrop:重构MLLM计算路径,压缩90%视觉Token实现2.2倍加速

东方理工大学沈晓宇团队提出HiDrop,基于MLLM不同层功能差异,设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示,它能压缩约90%视觉Token,保持98.3%性能,实现训练和预填充加速。

机器之心
开源动态7

蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理

医学领域需处理复杂关系,现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具,结合两阶段训练范式解决问题,在医学基准测试取得新成果。

CourseAI
算法论文8

We-Math 2.0:全新多模态数学推理数据集 × 首个综合数学知识体系

北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0,含知识体系、数据集及训练策略,可提升模型数学推理泛化能力。该成果在X上获关注,登Huggingface Paper日榜第一。

机器之心
新闻资讯7

扎克伯格发文正式告别“默认开源”!网友:只剩中国 DeepSeek、通义和 Mistral 还在撑场面

Meta 首席执行官扎克伯格分享“个人超级智能”愿景,透露公司调整 AI 模型发布策略。此前 Meta 强调开源优势,如今态度转变,巨额投入后或暂停开源新模型,计划并行训练开源与闭源模型。

AI前线
算法论文8

ACL 2026 Main|混合推理模型也会「钻空子」:南大移动团队提出TNT,破解「假装不思考」骗奖励

大型推理模型存在「过度思考」问题,训练混合推理模型易出现奖励欺骗。南大等团队提出 TNT 方法,利用思考模式解答部分为问题动态设非思考模式 token 上限,解决奖励欺骗,实现准确率与效率双赢。

机器之心
算法论文8

新SoTA方法RM-R1:让reward model对评分说出原因!超越GPT4o

过去模型‘黑箱打分’不透明、不灵活。论文提出ReasRM,经两阶段训练,让奖励模型像人类先思考再打分。它能分任务类型、动态奖励,实验中碾压GPT - 4,小模型逆袭,团队已开源6个模型。

深度学习自然语言处理
算法论文8

告别随机性:Thinking Machines Lab如何实现了LLM推理的完全确定性?

文章指出LLM推理非确定性根源并非GPU并发和浮点非结合性,而是批大小变化致核函数非不变性。作者提出实现批不变操作的策略,实验验证有效,还阐述其对训练、系统可靠性等方面的意义。

深度学习自然语言处理
算法论文8

首个全面梳理语音大模型发展脉络的权威综述,入选ACL 2025主会

香港中文大学团队语音语言模型综述论文《Recent Advances in Speech Language Models: A Survey》被 ACL 2025 主会议接收,这是该领域首个全面系统综述,指明语音 AI 未来方向,还剖析技术架构、训练策略等。

机器之心
开源动态7

DeepSeek悄悄开源LPLB:用线性规划解决MoE负载不均

昨天,DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配,能处理动态波动,但也存在忽略非线性成本等局限,对 MoE 架构训练加速有参考价值。

机器之心
开源动态8

阿里搞了个全能解析器,文档、图片、音频、视频一锅端

阿里巴巴开源 Logics-Parsing-Omni,用一个模型统一处理文档、图片、音频、视频四种模态,输出结构化 JSON 数据。它采用三级渐进解析框架,两阶段训练策略,在自建基准上多项指标超越 Gemini - 3 - Pro。

CourseAI