「大模型推理训练」共找到 8394 篇相关文章
爆火论文颠覆RL认知!「错误奖励」让LLM推理暴涨24.6%,学界惊了
最新爆火论文颠覆传统RL训练认知,华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验,发现其对Qwen模型有效,但并非对所有模型都有效。
李飞飞团队发布新一代世界模型Atlas:从零训练,一次性打通视频生成、 3D重建与机器人仿真
李飞飞创办的 World Labs 发布新一代世界模型 Atlas,称其为‘全球首个多模态世界模型’。它从零训练,能同时完成视频生成、3D 重建和时空模拟,已向少数伙伴开放测试,未来将成 Marble 底层模型。
仅保留35% Token,性能反超原模型!快手可灵等用视觉信息引导音频压缩,推理时间直降42%
Omni - LLM计算浪费严重,快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系,通过时空联合剪枝压缩视频、视觉引导筛选音频Token,大幅减少Token数量,提升性能和推理效率。
AI安全得查祖宗三代?Anthropic登Nature揭秘大模型潜意识传染
Anthropic论文登上Nature,揭示AI模型仅通过纯数字序列就能继承另一模型的危险偏好。研究表明,即使删掉敏感词,隐性信号仍能传递,且代码和推理链也是传染通道,这对AI安全评估提出新挑战。
清华校友出手,8B硬刚GPT-4o!单一模型无限工具调用,终结多智能体
MIT等机构推出TIM和TIMRUN组合拳,突破模型token天花板。TIM将推理建模为任务树,TIMRUN优化内存管理。二者结合支持长程推理,实现单模型高效推理,简化智能体构建,在多方面表现出色。
震惊海外开发者!BOSS直聘3B小模型比肩80B,怎么做到的?
BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B,性能震惊海外开发者。团队从多方面改进,如优化推理和偏好对齐,重构训练数据,采用多种强化学习算法,使其性能比肩大模型。
华为 | MoE推理「王炸」组合:昇腾原生盘古推理,性能狂飙6-8倍!
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型,经系统级软硬协同等优化,推理性能提升6 - 8倍。还提出分层混合并行等策略,打造融合算子,设计推理算法,在昇腾不同平台展现卓越性能。
「Thinking with Images」推理速度太慢?「Zooming without Zooming」 让AI不调用工具也能「明察秋毫」!
上海交通大学与蚂蚁集团联合团队发布多模态大模型成果“Zooming without Zooming”。该研究提出R2I方法,将“缩放”转为训练目标,使模型单次前向传播实现细粒度感知,团队开源的ZwZ模型家族达开源SOTA性能。
让大模型异步地增强推理能力
在大模型推理时代,Test - Time Scaling成提升能力重要方向,但面临效率问题。ATTS提出异步框架,加入共形预测筛选候选路径,实验显示其加速显著,将测试时扩展推进到‘有原则加速’阶段。
阿里QwenLong-32B:1W+超长Token推理,知识密集型复杂文档高效推理
文章介绍阿里QwenLong - 32B在长文本推理的能力。长文本推理有训练效率低和优化不稳定问题,QWENLONG - L1通过强化学习等解决,还阐述其组件、训练步骤,并给出实战代码及相关链接。