「推理加速技术」共找到 4890 篇相关文章
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
一次汇报，资源投入暴涨数十倍：快手大模型推荐以 1/12 成本突围，技术负责人亲历的革新故事
InfoQ 专访快手科技副总裁周国睿，他分享了快手大模型推荐技术投入挑战、决策过程等。如汇报后资源投入涨数十倍，以 1/12 成本突围。还阐述推荐系统变革、技术押注及未来推荐系统突破点等观点。
揭秘台积电未来战略核心——晶圆级系统集成
上周台积电研讨会公布2026 - 2028年技术路线图，其晶圆级系统集成技术SoW有新进展。半导体正从单一制程向系统级整合转型，台积电以制程与封装双轨驱动定义规则，还面临高成本等挑战。
MiniCPM 4.0来了！220倍极速狂飙，端侧模型的比赛，结束了
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有三级火箭推理加速体系，性能强，适配全平台，应用广泛，或成端侧AI分水岭。
刚刚，阿里旗舰模型Qwen3-Max-Thinking发布，编程能力“踢馆”Gemini与Claude
阿里发布旗舰模型Qwen3-Max-Thinking，总参数超1万亿，在多项权威基准测试中表现优异，可与顶级闭源模型竞争。千问团队为其引入两项核心创新，提升推理性能，该模型已可免费体验。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
中国团队让AI拥有「视觉想象力」，像人类一样脑补画面来思考
上海交通大学等团队提出 Thinking with Generated Images，让大模型像人类一样用「脑内图像」推理。该研究区分三种视觉思维模式，提出核心技术框架，解决视觉推理局限，实验效果好，未来有望在多领域突破。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
三大核心创新公开，快手开源多模态Keye-VL 1.5拿下视频理解SOTA，8B力压GPT-4o！
快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。
DeepSeek点燃大模型效率之争，阶跃火速接棒：JetSpec让大模型解码速度最高提升近10倍
近期，DeepSeek发布DSpark，阶跃星辰发表JetSpec论文，二者聚焦大模型推理效率。DSpark关注验证效率，JetSpec从Draft生成本身入手。结果显示，二者都有加速效果，共同表明推理效率正成Agent落地关键变量。