「缓存架构」共找到 1927 篇相关文章
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
GitHub上已突破5.1k stars！这是真正被开发者认可的 AI Agent平台，AI开发者必看，如何用它实现生产力逆袭？
TaskingAI是AI - native应用开发平台，整合多模块提供一站式BaaS体验，简化AI应用全流程。它支持多模型，有检索、工具插件等功能，适用于客服、销售等场景，还对比同类项目展现优势。
21.7K 标星的开源TTS！FishAudio开源情感语音核弹：200万小时炼成“声优AI”！
FishAudio团队推出新一代TTS语音模型OpenAudio S1，基于200万小时音频数据训练，采用Qwen3+Descript Audio Codec架构。它能实现情感表达，在TTS - Arena榜单登顶，还提供不同版本适配，适用场景广泛。
实证：现在的LLM根本不会Reasoning！
论文指出当前大推理模型（LRM）如DeepSeek - R1等可能只是在表演“思考秀”，遇到复杂问题就崩溃。研究者用4个可控谜题测试，有三大颠覆发现，还揭示思考过程的荒诞现象，直指行业痛点并给出发展方向。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。
红杉AI峰会闭门6小时，150位创始人共识浮现：AI不再卖工具，而是卖收益
第三届红杉资本AI峰会落幕，150位全球顶尖AI创始人齐聚。会议指出AI正从卖工具转向卖收益，还探讨了操作系统之战、智能体经济等话题，给出面向未来三年的定位图等，提醒从业者转变观念。
最强编码模型 Fable 5.1 发布：性能翻倍、Agent 成本降 45%，Anthropic 把顶级模型送进真实世界
当地时间9月1日，Anthropic发布Claude Fable 5.1和Claude Mythos 5.1，新模型在多方面能力提升，Agent工作负载成本最高降45%，此次发布还涉及价格、数据留存等多方面内容，争夺高价值任务市场。