「推理延迟」共找到 2197 篇相关文章
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多问题模拟复杂推理场景。结果显示，DeepSeek - R1等模型高压下性能大幅缩水，REST能拉开不同模型差距，还揭示评测方法局限。
作为软件架构师使用 AI 的经验
Avraham Poupko 在 OOP 大会分享软件架构师用 AI 经验，认为软件架构师不会被 AI 取代，AI 适合探索权衡、提炼语言，但缺乏情境推理和情感智能，人类在这方面更有优势。
爆冷！字节Seed 在CCPC 决赛只做出一道签到题，而DeepSeek R1 直接挂零？
第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，仅做出一题，DeepSeek R1 挂零。不同模型架构在比赛中差异不大，暴露出大模型做算法题短板，推理模式模型表现更好。
Google Gemini Embedding2：一个模型处理所有媒体类型
Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。
智谱开源GLM-4.5工具调用超越Claude Opus 4.1，成本仅1.4%
开源模型GLM-4.5在伯克利工具使用榜单上超越Claude Opus 4.1，运行相同任务成本仅为1.4%。它采用MoE架构，在多场景表现卓越，推理速度快，成本低，还接入多款主流编程工具。
ICCV 2025 | RobustSplat: 解耦致密化与动态的抗瞬态3DGS三维重建
3DGS技术成研究热点，但现有方法在含动态物体场景建模精度不足。中山大学等研究者提出RobustSplat，有延迟高斯生长和尺度级联掩码引导两大核心设计，实验显示其在多指标上领先基线方法。
ACL 2025 | AI字幕慢半拍，不知道大家在笑什么？新方法让同传性能直逼离线翻译
香港中文大学、字节跳动Seed和斯坦福大学团队提出SeqPO - SiMT框架解决同声传译“质量 - 延迟”权衡问题。该方法将同传建模为序贯决策过程，优化决策序列，实验显示其性能直逼离线翻译。
苹果在WWDC提到的本地模型，这家公司把它提速了220倍
苹果在WWDC开放本地语言模型API，让iPhone等有了“AI大脑”，但开发者面临模型运行慢问题。国产团队面壁智能发布MiniCPM 4.0，端侧处理长文本提速惊人，从多层面创新实现，还补上推理框架缺口。