「推理与计算」共找到 7989 篇相关文章
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！
蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。
一文读懂：GPU到底是怎么工作的？
文章详细介绍GPU工作原理，对比其与CPU差异。指出GPU擅并行计算、能解决复杂问题，还分析FLOPS、延迟、内存等因素对性能的影响，最后讲了GPU通过多线程和超量订阅获高吞吐量。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。
腾讯发布SpecExit算法，无损压缩端到端加速2.5倍！解决大模型长思考效率难题
腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
AGI是否需要世界模型？顶级AI专家圆桌论道，清华求真书院主办
2025年7月20日，2025基础科学与人工智能论坛举行，孙茂松、刘铁岩等顶尖AI专家围绕AI根本问题展开讨论，涉及因果性、世界模型、原创能力、算力等方面，为AI技术发展勾勒图景与挑战。
三位哈佛辍学生，如何将专用芯片变成估值百亿美元的 AI 算力公司
文章聚焦 Etched 公司，分析推理成 AI 算力主战场背景，介绍三位哈佛辍学生创始人故事，阐述其从芯片到推理集群的产品打造，还提及团队、文化、资本情况，最后分析竞争格局与前景。