「推理速度」共找到 2512 篇相关文章
以加代乘？华为数学家出手，昇腾算子的高能设计与优化，性能提升30%！
大模型落地面临推理难题，华为团队基于昇腾算力发布三项硬件亲和算子技术研究，包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术，实现能效、协同和速度突破，未来将拓展应用场景。
华为世界模型来了！单卡30分钟生成272㎡场景
华为联合上海交通大学、华中科技大学推出世界模型WordGrow，可生成1800㎡超大室内场景，单卡30分钟跑272㎡。它用数据精准预处理、3D块补全机制、粗到精生成策略填3D场景构建的坑，指标优、速度快。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
刚刚，Sam Altman宣布：GPT-5即将发布
Sam Altman在X上宣布OpenAI通用推理系统在2025年IMO达金牌水平，同时透露GPT - 5即将发布。OpenAI研究员Alexander Wei介绍突破细节，模型解决多道题获35分。GPT - 5是实验模型，有金牌能力的版本还需等待。
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
Google 发布 Gemini 3.1 Flash-Lite：每秒 363 tokens，百万 token 只要 $0.25
Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。
Google 发布 142 页年度DORA 报告：90% 开发者每天花 2 小时使用AI，比去年增长14%
Google发布142页年度DORA报告，显示90%开发者每天花2小时用AI，比去年增14%。开发者对AI代码信任谨慎，看法分化，速度提升比质量改善明显。报告还分析团队类型、采用时间等，指出技术限制和就业现状。
Meta没做的，英伟达做了！全新架构吞吐量狂飙6倍，20万亿Token训练
英伟达发布全新架构9B模型NVIDIA Nemotron Nano 2，以Mamba - Transformer混合架构实现推理吞吐量最高提升6倍，对标Qwen3 - 8B并在多任务中表现持平或更优，还开源模型及大部分预训练数据。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行。模型推理快、性价比高，在多领域表现出色，亮点是Agent和长文能力，已在腾讯多业务应用。
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
DeepSeek 发布围绕 DeepSeek-V3 的技术论文，从硬件架构和模型设计双重视角，探讨实现经济高效的大规模训练和推理的方法。介绍了 DeepSeek-V3 的创新设计，如 DeepSeekMoE 架构、MLA 架构等，还给出未来硬件架构设计建议。