「低延迟」共找到 1125 篇相关文章
AICon上海演讲精华回顾：《GMI Cloud 全球化高性能分布式推理服务构建实践》
AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
250美元起售，还开源，Hugging Face 发布史上最亲民人形机器人
Hugging Face 开源两款人形机器人 HopeJR 和 Reachy Mini，前者全尺寸有 66 个驱动自由度，售价约 3000 美元；后者成本低至 250 美元，可用于测试 AI 应用。虽被指外观不佳，但推动开源机器人生态发展。
OpenAI自曝：AI推理砸钱越多，碾压人类越狠！
OpenAI研究员探讨推理模型时代。Noam Brown强调预训练和推理范式，指出当前AI胜在通用性。推理范式成本低、效果好，如o系列模型表现出色。首席经济学家谈AI经济影响，称其重塑企业格局。
字节Seed新方法！开源8B代码模型：自己筛数据训练自己，同量级SoTA，还能超越百亿级对手
传统code大模型依赖人工筛选数据，成本高、效率低。而Seed - Coder团队让LLM自己筛选数据训练自己，打造8B参数轻量级开源代码模型，性能超百亿级对手，不过也存在通用和数学能力短板。
机器人进入“边做边学”时代：星尘发布在线强化学习框架，让动态投掷成功率提升超141%
星尘智能基座模型团队公布在线强化学习框架SmoothRL，解决异步执行环境中具身模型在线微调难题。该框架让策略更新对应硬件实际执行，攻克延迟失准问题，在多项真机测试中大幅提升任务成功率。
刚刚，OpenAI GPT-6 Astra震撼发布！AGI时代来了
OpenAI正式发布GPT - 6 Astra，总裁称已到AGI时代。该模型定位为“世界上最智能、最对齐的模型”，在多领域表现出色，能力强、速度快、成本低，还具备“关键级”网络安全能力，将逐步开放给用户。
UniSteer用机械臂「拼豆」：让人类指导进入VLA噪声空间强化学习
视觉 - 语言 - 动作模型（VLA）是机器人操作重要基础模型，但复杂任务成功率低，真机强化学习成本高。微软等机构研究者提出 UniSteer，将人类纠正转换成噪声监督，在多任务测试中提升了成功率。
刚刚，Kimi K3开源！3万亿模型权重全球开放
2026年7月27日，Moonshot AI开源全球首个3万亿参数级模型Kimi K3。它不仅参数量大，还在多领域表现出色，能与顶尖闭源模型媲美。其架构创新、训练独特、推理成本低，有望改变全球大模型格局。
调高一档推理强度，成本可能翻几倍：大模型思考原理讲清楚
文章详细讲解推理强度原理，指出其不改模型，只改草稿长度。还说明模型多思考能提高答题准确率的原因，剖析贵和慢的原因，介绍三种控制形态，并给出判断推理强度档位的框架。