「混合注意力机制」共找到 1161 篇相关文章
探针伸进大模型黑箱,南加州大学华人团队打造AI记忆研究的深空望远镜
南加州大学 Robin Jia 教授团队借助英伟达算力,构建基于 Llama 3 架构的全开源受控大模型 Hubble,其成果将在 ICLR 2026 亮相。研究揭示大模型记忆机制效应,还评估了‘机器遗忘’技术,有法律应用潜力。
mem9:让微信里的龙虾不再失忆
文章介绍了 mem9 这一给 AI Agent 用的持久化记忆基础设施。它由 TiDB 团队打造,能解决 AI 失忆问题,实现记忆云端存储、无缝迁移,有两段式提取、混合搜索等功能,还能筛出重要记忆。
Meta 删邮件事故背后,OpenClaw 为什么会“失忆”?代码库维护者拆解记忆架构
OpenClaw在使用中易“失忆”,如Meta对齐总监用它处理邮件时失去控制。文章从代码库维护者视角,拆解记忆架构,介绍记忆层次、失败模式,给出配置建议和故障排除方法,助用户了解并优化其记忆机制。
清华新框架让大模型学会「精读略读」!实现12倍端到端加速,基准评分翻倍
清华等团队提出全新框架RAM,受人类阅读认知启发,将“精读+略读”混合策略引入上下文压缩,突破现有方法效率瓶颈,在多任务上表现出色,实现12倍端到端加速,为长上下文LLM部署提供新范式。
中学生就能看懂:从零开始理解LLM内部原理【十三】|GPT 架构如何工作 ?
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系,阐述其从输入文本到预测下一词概率的流水线,详述训练和推理流程,还提及GPT架构进化的混合专家(MoE)模型。
首钢园“产业跃升俱乐部”首秀:从WANOS全景声到波萝元宇宙
首钢园“产业跃升俱乐部”首期轮值活动“从WANOS全景声到波萝元宇宙”成功举办,标志开启月度轮值新机制。活动汇聚各方精英,探索创新驱动产业跃升路径,展示波萝元宇宙成果,还围绕技术与投资议题讨论。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’,无法确认漏洞是否可被利用,导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式,先定位可疑点,再对漏洞进行真实攻击验证,显著降低误报率。
刚刚,智元提出SOP,让VLA模型在真实世界实现可扩展的在线进化
智元具身研究中心提出SOP框架,可让VLA模型在真实世界实现可扩展的在线进化。它是颠覆性的机器人学习新范式,整合在线、分布式和多任务机制,构建闭环打破机器人认知时间边界。实验显示其性能优越。
智能体的记忆管理机制及其潜在风险 | 直播预约
大语言模型(LLM)智能体兴起,记忆机制是核心。本次报告将探讨记忆管理对其性能的影响及潜在风险,展示缓解关键挑战的策略,介绍新攻击范式,揭示安全漏洞,强调需重新审视与建模。
模力工场 025 周 AI 应用榜:传统SEO黄昏?蓝莺 GrowAI 说让品牌出现在 AI 答案里!
模力工场第 025 周 AI 应用榜揭晓,8 款应用上榜,涵盖营销、效率、设计等多领域。蓝莺 GrowAI 成榜首,其开发者分享构建经验,还谈 AIGC 对 SEO 影响等问题。此外介绍上榜机制与参与方式。