「超低延迟」共找到 3040 篇相关文章
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
内部爆料：Alexandr Wang上任第一把火，Meta大模型闭源
据知情人士，Meta新成立的超级智能实验室正讨论重大决策，高层对AI模型是否开源存分歧。Meta曾因性能问题延迟Llama 4版本，现完成Behemoth训练却因不佳延迟发布，还探讨放弃它开发闭源模型。
程序员必收藏！AutoGPT x 167k star实战指南：AI拆解+插件驱动，源代码一键自动化
AutoGPT 是基于 GPT - 4 的开源自主智能代理，在 GitHub 上超 176K 星，速度超 PyTorch。它能解决复杂任务自动化等痛点，具备持续自动任务等核心功能，还给出使用指南，在同类型项目中领先。
Claude 终于能“看”视频了！这个开源项目让我刷视频效率翻倍
平时找视频信息效率低，而开源项目让Claude等大模型 “看懂” 视频，能提取画面、音频并理解内容。介绍了其工作原理、帧预算、去重、细节模式等，安装使用门槛低，还给出了应用场景和项目地址。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
4秒卖出一只的爆款鸭，中国制造，宇树都来推销电机，复刻比买贵？
Hugging Face推出售价399美元的机器鸭Microduck，预售火爆，24小时销售额超260万美元。它开源且可玩性高，社区二创丰富。其配置“五脏俱全”，由中韩中多方合作，软件栈也全套开源，民间复刻成本超原版。
AI收入暴涨！英伟达超过苹果，成为全球市值第二
根据CompaniesMarketCap数据，英伟达公布财报后股价升超4%，一度成全球市值第一。截至5月29日收盘，其市值超苹果，仅比微软少150亿美元。虽此前受DeepSeek冲击，但Q1营收、利润仍创新高，二季度预计乐观。
比 Context7 更靠谱：Exa-code 靠 1B+ GitHub 与 Stack Overflow 减少幻觉
Exa团队索引超1B+文档、GitHub仓库等内容，exa - code对其混合搜索、分块处理。它是首个为编码代理制作的Web规模上下文工具，在代码幻觉评估中表现超流行网页搜索工具，核心技术有专为AI的搜索引擎和高效返回上下文。
印奇这次要“从0重做”智驾模型！首谈阶跃和千里双公司布局：中国AI商业闭环要靠车跑出来
智能驾驶行业激战正酣，千里科技与阶跃星辰合作打造“原生智驾基座模型”。印奇首谈双公司布局，认为中国AI商业闭环要靠车跑出来。千里科技收入、利润双增，智驾装机规模将超百万辆，还布局Robotaxi和超级智能体。