「缓存性能」共找到 1987 篇相关文章
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
刚刚，全球首台「万元级」高性能人形机器人诞生！比Mac还便宜
9月2日，全球首个万元级高性能人形机器人——元点机器人Zeroth Bridge「小桥」发布，极客版首发价8888元。它轻巧便携，性能强劲，支持全量二次开发，还发布了OpenBridge开发者全开源生态。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。
刚刚，美团开源 SOTA 推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking
美团宣布开源高效推理模型 LongCat-Flash-Thinking，性能逼近 GPT5-Thinking，是国内首个结合多种推理能力的大语言模型。它采用新方法提升性能，已在多平台开源，API 平台免费开放，还兼容主流 API 格式。
Mini-SGLang，30万行代码浓缩为5000行，大模型推理高性能教学与研究模版
SGLang发布Mini-SGLang，将30万行代码缩至5000行，保留核心特性，为大模型推理提供高性能教学与研究模版，解决教育门槛高和科研原型开发难的痛点，还经测试验证了性能。
一句话，性能暴涨49%！马里兰MIT等力作：Prompt才是大模型终极武器
马里兰大学、MIT、斯坦福等机构研究发现，AI性能提升一半靠模型，一半靠提示词。他们让DALL - E 2和DALL - E 3 PK，发现DALL - E 3性能提升中，模型升级贡献51%，提示词优化贡献49%。
减少检索增强生成（RAG）语义缓存中的误报：以银行业为例
文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。
教科书《性能之巅》作者入职OpenAI！迷弟总裁亲自欢迎
系统性能优化领域顶级专家Brendan Gregg加入OpenAI，将参与ChatGPT性能团队。他被尊为“性能之神”，著有《性能之巅》等，发明火焰图。他自述因OpenAI环境与AI需求加入，还为圆童年科幻梦。
斯坦福意外用AI生成超强CUDA内核，性能比人类专家优化得还要好！翻倍碾压原生PyTorch，华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的，在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码，还使用多分支探索模式。
Claude Fable 5.1 发布：缓存读降价 75%，但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨，但出现价格悖论，缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平，推出 EFS 应对数据留存争议，还有多项科研演示。