「双并行注意力机制」共找到 1187 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
7.3K Star！用 Orca 组建 AI 舰队：让 Claude Code 和 Codex 同时开工！
Claude Code 大火后，多家大厂推出自家 Code CLI，多终端操作上下文切换成本高。Orca 是开源 AI 编排器，可让多个 AI 编程助手并行工作，集中查看结果，有并行工作区、统一管理界面等亮点。
X 推荐算法开源，暴力拆解推荐机制，这是内容创作者的终极流量增长秘籍。
马斯克兑现承诺，将X推荐算法开源。文章用通俗语言介绍其运作原理，把推荐系统比喻成两个‘内容买手’和一个‘裁判’，还给出内容评分标准、过滤机制及创作者提升流量的实战建议。
2026年必须搞懂的20个 Agent 工程概念（运行机制篇）：大白话一次讲清。
文章聚焦Agent工程运行机制，介绍20个核心概念。如Agent与ChatBot区别在于会‘做’；Harness是模型运行框架；Execution Model决定思考行动范式等，还给出各概念工程实践建议。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
OpenAI Codex桌面版深夜突袭！一人指挥Agent军团，程序员彻底告别996
OpenAI推出编码杀器Codex桌面App，可指挥多Agent并行协作。它能多任务并行切换，创建调用Skills，设置自动化流程，从写代码进化到解决问题，还具备双人格模式，默认安全，有望重塑开发者与代码交互逻辑。
从 ReasoningBank 到 MetaAgent，RL 未必是 Agent 自进化的必要解？
业内对智能体自进化的探讨开启多路线探索模式。除 RL 优化，记忆系统改进成新方向，如 ReasoningBank 机制。此外，业内还从智能体自我识别、工具和策略辅助等机制探索其他技术路线。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。