「混合注意力机制」共找到 1161 篇相关文章
港大开源视频版RAG，像聊天一样看完百小时纪录片。
港大HKUDS团队开源超长视频理解框架VideoRAG，突破传统模型时长限制，支持对数百小时视频精准检索和问答。还有桌面应用Vimo，使用简单高效。介绍了其切片索引、混合检索、生成回答的实现逻辑。
成本降70%！清华、阿里通义带来智能体长程任务新解法
AI智能体处理长程任务常遇上下文超载问题。清华与阿里通义研究人员提出MemPO算法，赋予大模型主动管理记忆能力，准确率提升，计算资源消耗降近七成，不过评价机制有局限。
AI记忆系统首获统一框架！6大操作让大模型拥有人类记忆能力
香港中文大学等团队发布AI记忆机制综述，首次构建统一框架，划分记忆类型，提出六种操作，探讨关键主题，还对比人类与AI记忆，指明未来AI记忆系统需突破瓶颈，迈向认知跃迁。
赛博义父Tibo最新访谈：专门实体按钮搞重置，“我想重置就重置”
赛博义父Tibo在播客中透露诸多OpenAI内幕，如ChatGPT和Codex将融合成个人化AGI，下一代Agent核心是机制“消失”等，还回顾谷歌经历，分享OpenAI文化、产品发展等观点。
DeepSeek-V4蓄势待发！梁文锋署名论文或开启第二个DeepSeek时刻
据报道，DeepSeek将于2月发布新一代旗舰模型DeepSeek V4，其编程能力或超Claude和GPT系列。最新论文提出Engram条件记忆机制，分离死记硬背与逻辑推理，揭示新稀疏性分配定律。
哈工大最新研究AI Meets Brain
传统大模型有“健忘”问题，哈工大《AI Meets Brain》研究借鉴人类记忆机制，为AI智能体打造强大记忆系统。研究涵盖核心洞察、记忆形态、分类框架等内容，还探讨了记忆赋能方式及未来发展方向。
刚刚，Anthropic这篇论文上了Natrue
Anthropic关于“潜意识学习”的研究发表于《Nature》杂志。研究揭示大语言模型能通过与语义无关的数据传递行为特征，如偏好、不对齐行为等，还探究了其机制，并在MNIST上验证。
Svelte 团队成员开源新框架 Ripple，又一个想“改写前端”的框架？
Ripple是全新开源前端框架，由Svelte核心维护者打造，融合多框架理念，采用TS优先设计，有细粒度响应式机制等，目标是带来更简单开发体验，团队还探索集成AI能力，目前处于早期阶段。
中移动九天团队MultiPL-MoE：全新Hybrid-MoE架构用于增强通用大模型低资源代码能力
大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。
上门安装OpenClaw年入百万，但装完才是噩梦！
硅谷小伙Michael上门安装开源软件OpenClaw年入百万，国内也有不少人靠此赚钱。但OpenClaw不包含语言模型，运行需接入外部模型付费，还有心跳机制烧钱，且存在隐私安全风险。