「零延迟」共找到 572 篇相关文章
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
3万员工+亲儿子全卖！甲骨文血色梭哈，全押OpenAI
为给OpenAI凑3000亿美金算力投名状，甲骨文裁员3万、卖医疗巨头Cerner抵债。其陷入信用危机，还改结算规则转嫁风险，订单交付迟，OpenAI或转单。甲骨文这场豪赌输赢未知。
AI出码率70%+的背后：高德团队如何实现AI研发效率的量化与优化
文章围绕建立统一数据采集和指标体系，搭建AI统一数据采集能力，定义AI出码率等核心指标，构建AI效率研发指标体系，还介绍了数据采集方案、指标计算等，实现数据驱动闭环。
免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」
杜克大学陈怡然团队新作DPad，发现扩散大语言模型关注少量「中奖」token，推理速度可提61 - 97倍，还增强模型语境学习能力。DPad免训练零成本挑关键信息，实现「少算多准」。
CNCF 孵化用于 Kubernetes 边缘计算的 OpenYurt 项目
云原生计算基金会（CNCF）宣布 OpenYurt 加入其孵化项目名单。该开源平台由阿里巴巴 2020 年创建，将 Kubernetes 扩展到边缘计算环境，保持与上游 API 兼容，能减少延迟、提高可靠性。
“边说边思考”，Mini-Omni-Reasoner 开创实时语音推理新范式
Mini - Omni - Reasoner将推理能力引入大型语音模型，开创“边说边思考”范式，实现实时语音推理与交互。推出Spoken - Math - Problems - 3M数据集，经四阶段生成流程构建。训练采用分阶段策略，性能超基础模型。
NextStep-1：一次在图像生成上自回归范式的探索
阶跃星辰团队探索自回归图像生成新路径，推出 NextStep-1。它直接在连续视觉空间自回归生成，架构简洁，实现端到端训练。模型有高保真生成和编辑能力，Benchmark 表现佳，但也面临稳定性等挑战。
LLM进入「拖拽时代」！只靠Prompt，几秒定制一个大模型，效率飙升12000倍
新智元报道，NUS、UT Austin等机构研究人员提出「拖拽式大语言模型」（DnD），它基于提示词生成模型参数，无需微调适应任务，效率最高提升12000倍，零样本泛化能力出色。
18天光速打脸！OpenAI刚夸TypeScript最合适，转头就用Rust重写Codex CLI
OpenAI推出AI编码神器Codex，向ChatGPT Plus用户开放，还增加互联网访问功能。此前其宣布用Rust重写Codex CLI，该项目维护者Matin入职刚一年，半月前还称TypeScript最合适。改用Rust可带来多方面改进。
南开 && UIUC | SearchAgent-X，打破「效率瓶颈」，让复杂「AI搜索智能体」走向现实
南开大学和伊利诺伊大学厄巴纳 - 香槟分校的研究提出SearchAgent - X框架，解决大型语言模型驱动的搜索智能体效率痛点。它剖析制约效率的原因，通过两大‘加速引擎’优化性能，实验显示效果显著。