「推理加速」共找到 2538 篇相关文章
OpenAI自研芯片270天光速成功！谷歌TPU大将主导，老黄一夜大客户变对手
OpenAI发布自研推理加速芯片Jalapeño，与博通和Celestica合作打造，专为大模型优化，9个月就流片。操刀者是前谷歌TPU核心成员Richard Ho，计划2026年底部署。此前谷歌、微软等已自研芯片，英伟达客户变对手。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
本文是对阿里通义千问Qwen多语言负责人杨宝嵩的专访。他透露Qwen一开始就将国际化视作核心战略，团队建立文化标注体系确保内容安全合规。还谈到多语言推理难题及应对策略，认为扩大模型规模和数据量仍重要，合成数据是延续Scaling Law的关键。
Claude最强领域被GPT反超！GPT 5.5最难编程基准破0
编程领域曾由Claude引领，如今GPT 5.5在大模型解决率为0%的最难编程基准上实现突破。程序重建基准测试（ProgramBench）考验严苛，过往模型解决率为0，GPT 5.5高和超高推理模式成功破局，展现了不同解题风格。
驾驭AI的人，才是穿越周期的竞争力｜2026极客时间DTDS大会圆满落幕
2026年5月极客时间企业版联合《培训》杂志举办DTDS大会，四位产业一线实践者拆解企业AI转型难题。协鑫科技张诗笳给出AI人才培养体系；赵钰莹发布8大岗位AI技能图谱；广新集团李志刚分享创新加速三步法；黄林给出未来趋势判断与诊断模型。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
AI证伪百年数学猜想被打假！Lean证明惊现漏洞，哥大教授破防了
OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。