「双KV - Cache」共找到 217 篇相关文章
马斯克脑机接口意念控制机械臂!演示者获得钢铁之吻,理论上可控制一切
Neuralink官方视频中演示者已能用意念控制机械臂。升级实验将采用“双植入”方案,首位受试者或二次手术。受试者也主动探索新用法,2024 - 2025年Neuralink多项成果,下一阶段关注复杂神经功能。
AI智能体的上下文工程:Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得,包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容,还指出要保留错误信息、避免小样本带偏等。
一个任务50次调用,成本狂砍90%?Manus首次公开上下文工程秘诀,一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此,使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则,助构建AI Agent者少走弯路。
语音界Sora!微软刚开源新模型,一次生成90分钟语音、3200倍压缩率
今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B,有诸多技术突破,如可合成90分钟语音、支持4名发言人、3200倍音频压缩等,还首创双tokenizer协同架构。未来微软还会开源更大参数模型。
Hugging Face开源顶级模型:双模式推理+128K上下文,最强3B
今天凌晨,Hugging Face开源顶级小参数模型SmolLM3,参数30亿,性能超同类。它有128k上下文窗口,支持6种语言、双推理模式。架构细节等全开放,联合创始人强烈推荐,称是3B领域SOTA。
openJiuwen协同昇腾打造智能体「算力亲和」技术,首token时延砍半,推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态,导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术,建立语义协同机制,优化 KV Cache 管理,提升 Agent 系统运行效率。
谁杀死了那篇好论文?AI顶会乱象:好论文被刷,低分论文被捧上天
一位AAAI 2026审稿人在Reddit爆料,好论文被拒、弱论文晋级,疑似有「关系稿」。AAAI采用双阶段评审制并启用AI辅助审稿,却让评审更主观不可控,导致学术公信力下降。
Agent框架各自为战?谷歌&微软:用Agent-KB让经验自由流动
当前不同框架的Agent知识无法互通,谷歌、耶鲁、字节、oppo等团队联合提出Agent KB,这是通用记忆基础设施,能让异构Agent框架共享经验。它有师生双阶段检索机制,实验验证其能带来显著增益。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时,同样问题换说法问,模型又要重新推理。`constraint-cache`这个Python库可解决此问题,它将语义相似查询规范化为统一缓存键,实现近乎即时的重复查询响应,还避免了随机性响应问题。
紫东太初推出GMC核心集剪枝方法,少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈,传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法,具双阶段架构,优势多,实验显示其能在减少Token同时保持性能。