「推理优化」共找到 3002 篇相关文章
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。
通往通用人工智能的关键一步？DeepMind放大招，3D世界最强AI智能体SIMA 2
Google DeepMind发布SIMA 2，这是能在虚拟3D世界自主游戏、推理和学习的通用AI智能体。它集成Gemini模型，从指令跟随到主动认知跃进，泛化性能提升，还具备自我提升能力，为AI和机器人技术发展提供新路径。
更大，还能更快，更准！蚂蚁开源万亿参数语言模型Ling-1T，刷新多项SOTA
10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
最高能效比！他又死磕“存算一体”2年，拿出全新端边大模型AI芯片
后摩智能CEO吴强在今年WAIC期间发布业界能效比最高的存算一体端边大模型AI芯片后摩漫界®M50。它搭载第二代存算一体技术，全栈自研实现软硬件协同优化，还配套系列产品，构建端边智能新生态。
ROLL：面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。
OpenAI深夜数连发：o3降价80%，o3-pro上线，奥特曼最后一次手发长文，开源模型却延期了……
OpenAI昨夜动作不断，o3模型降价80%，o3 - pro发布，开源模型延期。Sam Altman发长文《温和奇点》，预测AI发展时间线。o3价格虽降但使用成本仍有差异，o3 - pro性能强却推理慢，开源延期引发猜测。
扩散语言模型真的会比自回归好？理论分析结果可能恰恰相反
北京大学和蚂蚁集团研究表明，扩散语言模型虽理论上有并行生成优势，但实践中在某些任务推理成本更高。研究通过实验对比，分析了扩散与自回归模型在不同评估指标下的效率，指出选择模型要视任务需求。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。