「低延迟推理」共找到 2933 篇相关文章
手机也能跑，腾讯混元一口气开源4款小模型
腾讯混元团队开源4款小模型，最大7B。可在低功耗场景运行，支持微调。是融合推理模型，有快、慢思考模式，在多领域表现出色，亮点是agent和长文能力，已落地多元业务场景。
谷歌 DeepMind 发布机器人学基础模型 Gemini Robotics On-Device
谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。
刚刚，Anthropic发布Sonnet 5，性能接近Opus 4.8，但不一定更便宜
Anthropic发布Claude Sonnet 5，称其为最具Agent属性的Sonnet模型。它在推理等方面性能提升，接近Opus 4.8且价格低。安全评估有改善，但网络安全逊于Opus 4.8。已正式可用，有优惠首发价。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
Claude Sonnet 5 上线一日差评刷屏：打不过千问和 Minimax，性价比全面翻车
Claude Sonnet 5发布一天差评多。虽官方定位高，有能力亮点，但在中文测评中性价比低，测试成本高，且Max推理模式易过度思考。还因过度保守失去实用价值，其表现取决于使用场景和预算。
Tair 短期记忆架构实践：淘宝闪购 AI Agent 的秒级响应记忆系统
本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发，介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践，展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。