「低延迟推理」共找到 2933 篇相关文章
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌Deepmind推Genie 3，Anthropic放出Claude Opus 4.1。Claude Opus 4.1编程性能提升，实测编码能力强于gpt - oss。gpt - oss虽有亮点，但幻觉率高、实测效果不佳。
突袭Cursor，Windsurf抢发自研大模型！性能比肩Claude 3.5、但成本更低，网友好评：响应快、不废话
当地时间5月16日，Windsurf推出首个AI软件工程模型家族SWE - 1，含三款模型，性能比肩Claude 3.5且成本更低。开发者试用评价不错，但也指出不足。Windsurf称旨在提升软件开发速度，还介绍了测评、编辑器赋能等情况。
Claude 小升级就赢了OpenAI 9年“开源神作”？高强度推理直接歇菜、幻觉率高达50%，写作还被Kimi 2吊锤？
OpenAI发布首个开源语言模型系列gpt - oss，包括gpt - oss - 120b和gpt - oss - 20b，可在Hugging Face下载。同期谷歌、Anthropic也有新模型推出。gpt - oss有亮点，但也存在幻觉率高、实测效果差等问题。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
Karpathy加入Anthropic要做的事，被Google提前做了
Karpathy官宣加入Anthropic要组建新团队‘用Claude加速预训练研究’，话音未落，Google&Meta等发论文‘LLMs Improving LLMs’验证了该思路。论文让Claude Code搜索最优推理策略，结果全面超越人类设计。
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
京东广告大模型实战：GRAM 架构如何在 50ms 内完成生成式推荐？
流量红利见顶，广告营销转型遇挑战。京东张泽华在大会公开应对方案，介绍 GRAM 架构，实现意图与商品语义对齐，控制推理时延，解决冷启动等问题，还分享算法与知识工程实践。
Gemini 3 Flash 发布，多、快、好、省，Coding 能力不输大哥Gemini 3 Pro
Google DeepMind 发布 Gemini 3 Flash，成本极低。它在多项测试表现出色，速度快、效率高，代码能力超 Gemini 3 Pro，获企业客户好评，今日起向全球开发者和普通用户推送。
SearchAgent-X: 打破效率桎梏，释放下一代「AI搜索智能体」的真正潜能
论文提出SearchAgent-X框架解决AI搜索智能体效率难题。研究剖析效率瓶颈，发现精度和延迟问题，提出优先级感知调度与无停顿检索技术，经评估大幅提升性能且不牺牲答案质量。
把 RAG 做成主流的公司，现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式，如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus，提出“知识编译”概念，称能提高任务完成率、降低 token 开销，整个 AI 世界都在将“推理”往上游移动。