「推理延迟」共找到 2197 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
抢疯了！AI宠物翻译器：800多块，预售2万单
PettiChat宠物翻译器售价800多，预售2万单。它能将猫狗叫声转成句子，翻译延迟1.2秒，还具备位置追踪、安全警报和声音克隆功能。其靠大模型的声音识别和情绪推理系统实现翻译。
AI修真的一年：学者们怎么看“真智能”？｜甲子光年
甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。
Anthropic 的 Harness 哲学：把 Agent 当牲口，而非宠物
本文分享Anthropic最新两篇博客，介绍其将运维圈“宠物 vs 牲口”哲学用于AI Agent架构设计。旧架构如“宠物”易出问题，新架构脑手分离，把Harness做成可随时重启的“牲口”，降低延迟、提升安全，还提出信任框架。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
重新思考RLVR中的熵正则：从探索不足到探索过度的破局之路
2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。
Qwen3.8-Max首发上线阿里千问AI平台，API服务与Token Plan同步开放
今日，阿里巴巴发布新一代基座大模型Qwen3.8，千问AI平台首发其Max版API服务与Token Plan。Qwen3.8参数量2.4万亿，性能居前列，推理快且能自主编程。API性价比高，平台还为Token Plan用户提供优惠。
Claude 最歧视的，是印度阿三
AI研究员Aran Komatsuzaki实验发现，Claude的tokenizer对非英语用户不友好，印地语用户消耗token是英语的3.24倍，带来高成本、高延迟等问题。不同模型对不同语言token处理有差异，市场份额影响token效率。
Token售卖已无溢价、大模型公司转型“系统商”？记忆张量 CTO 李志宇：智能体能力会拉开差距，长期记忆与状态管理成竞争核心
InfoQ 采访记忆张量 CTO 李志宇，他指出 Scaling up 经济效益下降，大模型公司正变系统公司，核心是长期记忆与状态管理能力。2026 年若模型无代际差，价格战或加剧。智能体是主赛道，但现有模型推理能力不足。
中国AI芯片迎「华为时刻」
国内AI芯片市场正经历变革，“去英伟达化”成热词。科技巨头推动自研，9月国产芯片捷报频传，性能追赶超越英伟达。这既因地缘政治致供应链风险，也是AI从训练到推理转变下的必然选择。