「推理部署」共找到 2637 篇相关文章
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
OpenAI曝出第一颗芯片叫「辣椒」！AI自己设计，9个月流片
OpenAI首颗自研芯片Jalapeño问世，9个月从白纸到流片，创行业最快纪录。该芯片专为大模型推理设计，由其AI参与设计优化，有望降低推理成本，提升用户体验。OpenAI欲做全栈AI公司。
昇腾910B大模型实测：开源框架能不能打？真相全放这了
文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。
AI 设计9个月就能媲美Blackwell？OpenAI “辣芯”绕开英伟达正面战场，但老黄的GPU大盘不稳了
OpenAI 展示与博通联合打造的定制 AI 芯片 Jalapeño，性能媲美英伟达 Blackwell 或谷歌 TPU。计划年底部署，是多代芯片开发首步。它专为大模型推理设计，设计周期短，成本低，OpenAI 借此扩展全栈能力。
CMU&斯坦福提出Reasoning新范式！自己找“窍门”，教会LLM抽象Reasoning
大型语言模型解决复杂推理问题时效率低，论文提出创新方法，让模型利用“推理抽象”，通过RLAD两玩家强化学习框架训练，在多基准测试提升性能，还分析了其作用、局限与未来方向。
OpenAI 狂砸40亿美刀下场抢FDE，软件工程师的尽头原来是驻场啊
当地时间5月11日，OpenAI宣布成立OpenAI部署公司，初始投资超40亿美元，收购Tomoro引入现场部署工程师。这是战略转向，因企业更看重AI落地能力。如今AI竞争转向应用落地，部署工程师成香饽饽。
ICML 2026 | 只用少量Thinking Tokens，大模型依然能深度思考
近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。
重磅发现！大模型的「aha moment」不是装腔作势，内部信息量暴增数倍！
中国人民大学等联合团队研究发现，大模型推理有“信息脉冲”，特定步骤互信息值飙升形成“互信息峰值”，对应“思考词汇”。基于此提出无需额外训练提升推理性能的方法，代码已开源。
DeepSeek-R1全升级V2版：Token成本低至原来30%
DeepSeek - R1 V2版全维度升级，训练框架从‘单一RL’到‘多阶段协同优化’，推理能力从‘能推理’到‘会优化推理’，还提升了安全可控性，适配生态，推出轻量级模型。
三位哈佛辍学生，如何将专用芯片变成估值百亿美元的 AI 算力公司
文章聚焦 Etched 公司，分析推理成 AI 算力主战场背景，介绍三位哈佛辍学生创始人故事，阐述其从芯片到推理集群的产品打造，还提及团队、文化、资本情况，最后分析竞争格局与前景。