「低延迟」共找到 1125 篇相关文章
突发！OpenAI「掀桌」：自研推理芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。
Zero-RAG，对冗余知识说“不”
文章指出大语言模型知识冗余，RAG 检索效率低。复旦大学邱锡鹏提出 Zero - RAG，能精准识别并剪除冗余知识，砍 30%语料准确率掉点小，检索延迟降 22%，还介绍了其技术方案。
ACL 2025 | AI字幕慢半拍，不知道大家在笑什么？新方法让同传性能直逼离线翻译
香港中文大学、字节跳动Seed和斯坦福大学团队提出SeqPO - SiMT框架解决同声传译“质量 - 延迟”权衡问题。该方法将同传建模为序贯决策过程，优化决策序列，实验显示其性能直逼离线翻译。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
Luma Uni-1.1 API开放，图像模型榜单第三，文字渲染直逼GPT image 2
今年图像生成模型迭代快，海外AI初创公司Luma将统一图像模型Uni - 1升级到1.1版并开放API。它在榜单排名前三，价格与延迟低，有诸多品牌客户接入。展示了多场景应用效果，技术路线独特，定价有优势。
GitHub Issues 大改造：用缓存和预取，让页面打开快了数倍
GitHub 重新设计 GitHub Issues 导航架构，通过客户端缓存、预测性预取等机制，提升导航性能，使即时导航体验比例从 4%增至 22%，解决大型 Web 应用常见的延迟问题。
AI 会取代你的工作吗？Anthropic 用 200 万对话告诉你答案
Anthropic发布Economic Index第四期报告，分析200万次Claude对话，提出“经济原语”框架。发现AI对高学历任务加速效果更好但成功率低，还揭示Claude.ai与API差异，引入“有效AI覆盖率”等。
哇塞！Chrome MCP + OpenAI Whisper = 播客秒变学习笔记
作者分享Chrome MCP + OpenAI Whisper将播客秒变学习笔记的工作流。此组合成本低、无限制、学习成本低，通过实例演示音频下载、转录及划重点等步骤，适用于多种场景，性价比高。
1吨旧手机能提取约200克黄金？你家的闲置手机可以这样处理→
我国年均产生废旧手机超4亿部，回收率低，因回收价低、信息安全顾虑，大量闲置。但旧手机资源回收价值高，“以旧换新”政策和技术升级正推动回收产业发展，打消消费者顾虑。
借助 AI Coding 快速打造 AI Agent 系统
文章围绕购物场景生成AI Agent系统展开，原有低代码方案遇瓶颈，团队转向LangGraph等工程方案，借助AI Coding工具重构上线。介绍了项目需求、挑战，阐述核心架构升级，分享AI Coding开发实践及项目成果与启示。