「新注意力机制」共找到 4298 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
智能体新范式Chain-of-Agents，多项任务新SOTA
论文提出Chain-of-Agents (CoA) 范式，结合多智能体系统与工具集成推理优势。通过多智能体蒸馏和智能体强化学习训练智能体基础模型（AFM），实验显示其在Web和Code任务上达新SOTA，效率、泛化性佳。
生成式推荐！推荐系统新范式还是新噱头？
文章围绕生成式推荐展开，介绍其概念，探讨效果和成本问题。以Meta的GR和快手的OneRec为例，分析收益与开销，指出不同团队应用情况，认为它或带来架构革新，也提醒勿盲目跟风。
新模型亦是新 Agent，Kimi-Researcher 超大量一手实测！
2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。
智能体A2A落地华为新旗舰，鸿蒙开发者新机遇来了
华为Mate80系列、MateX7发布会上展示，搭载鸿蒙6的Mate X7实现Agent to Agent智能体协作商用落地。HarmonyOS 6重构应用连接方式，A2A协作带来效率革命，为开发者提供新机遇。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
生成式推荐！推荐系统新范式还是新噱头？【文末抽现金红包】
文章探讨生成式推荐是新范式还是噱头。分析其与判别式推荐区别、效果收益来源，结合Meta GR、快手OneRec实例，指出其有提升但非万能，不同团队应按需选择，还提及可能带来架构革新。
网页智能体新突破！引入协同进化世界模型，腾讯AI Lab提出新框架
腾讯AI Lab提出WebEvolver框架，引入协同进化的世界模型，让智能体在真实网页环境中性能提升10%，突破现有基于LLM的网页智能体瓶颈，还通过实验验证了其有效性和对网页状态变化的预测能力。
清华新研究，Nature+Science双杀！
清华大学李勇团队分析2.5亿篇科学文献，揭示AI for Science领域矛盾：虽助科学家个体加速，却致科学界群体注意力窄化。这由当前AI模型缺通用性导致，团队推出OmniScientist系统破局限。
DeepSeek V3.1 把 R1 融了，一堆新活：<think>开关、动态搜索、新ToolCall ...
DeepSeek在Hugging Face悄悄发布V3.1版本，将对话和推理模型合并为混合推理模型。它有显式推理、内置搜索、简化工具调用等特性，Aider测试成绩佳且成本低，但也存在战术回避、幻觉率升高等问题。