「多头潜在注意力」共找到 288 篇相关文章
Kimi K2.5登顶开源第一！15T数据训练秘籍公开，杨植麟剧透K3
Kimi K2.5登上Hugging Face热榜榜首，下载超5.3万。它主打Agent能力，成绩超GPT - 5.2等闭源模型，性价比高。官方技术报告公开其用15T数据训练，还搭载Agent Swarm架构，团队还剧透了Kimi K3。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5
在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。
生成式推荐！推荐系统新范式还是新噱头？
文章围绕生成式推荐展开，介绍其概念，探讨效果和成本问题。以Meta的GR和快手的OneRec为例，分析收益与开销，指出不同团队应用情况，认为它或带来架构革新，也提醒勿盲目跟风。
AI失忆症有了新解法，哈佛团队开发海马体仿生技术，要用AI终结人类“遗忘史”
近日，AI初创公司Engramme被曝正与投资者接洽融资约1亿美元，潜在估值达10亿美元。其联合创始人是哈佛教授加布里埃尔·克雷曼，技术基于其实验室成果，自研大记忆模型LMMs，已开放记忆API内测申请。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
DGM：首个可通过重写自己的代码来实现进化的AI Agent
Sakana AI发布Darwin Gödel Machine（DGM），可通过重写代码自我进化，突破了当前AI Agent智能固定的局限。它在多测试中表现出色，能力具通用性，但也有潜在风险和局限，团队已开源并提出未来研究方向。
DeepMind哈萨比斯：AI能建模所有进化而来的事物
谷歌DeepMind首席执行官哈萨比斯在与莱克斯的对谈中，深入探讨了人工智能的未来，包括其在模拟物理现象、视频游戏开发中的应用，以及通用人工智能的潜在发展。他认为任何能通过进化形成的事物都能被AI高效建模，还分享了对多个AI相关问题的看法。