「Attention算法」共找到 620 篇相关文章
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
上帝视角！DeepMind提前5天锁定Melissa，强度预报不再靠天
飓风Melissa来临前，DeepMind算法提前5天预言其强度变化。该模型用两类数据训练，能生成多种未来场景，在路径和强度预测上优于传统模型，已被NHC投入实战，但AI不能理解灾难，人类仍需做决策。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
甲小姐对话程路：做能源领域的“自动驾驶”｜甲子光年
本文是甲小姐对话新奥能源程路，探讨能源领域“自动驾驶”。程路认为能源转型正当时，AI是关键。新奥泛能网构建数字能源运营系统，提出“能源领域的自动驾驶”分级概念，还介绍了数据处理、算法及落地应用等情况。
Qwen3.8-Flash：全新架构，更强更稳更划算
本文介绍了 Qwen3.8-Flash 多模态 MoE 模型，它原生支持 262,144 token 上下文。该模型在 Attention、Residual、Embedding 与 Optimization 四个方面系统升级，降低训练与推理成本，即将上线千问 AI 平台。还发布了 Qwen3.8-Flash-Next 开源权重。
突破一亿Token极限：EverMind提出MSA架构，实现大模型高效端到端长时记忆
机器之心发布文章介绍，大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构，突破扩展性、精度和效率的不可能三角，实现100M长度的大模型长时记忆框架。
Nature公开谷歌IMO金牌模型技术细节！核心团队仅10人，一年给AI编出8000万道数学题训练
谷歌DeepMind的IMO金牌模型AlphaProof技术细节公开。团队规模小，核心成员是IMO金牌得主。它把数学证明当游戏，用30亿参数模型和改进树搜索算法。训练难题靠自动形式化解决，赛场用TTRL突破，已开放使用。
AI领域全新热门职业，岗位需求今年已增长逾800%
在AI技术飞速发展当下，「驻场交付工程师」（FDE）成连接实验室与市场关键角色。他们兼具算法能力与业务洞察，深入客户现场将抽象模型转化为可落地解决方案。国外企业纷纷扩充FDE团队，国内也开始有类似趋势。
Tilelang-1: Introduction
文章围绕TileLang展开，指出高层框架抽象层次高，难以满足算法创新和精细控制需求。TileLang将数据流与调度解耦，在易用性和性能间取得平衡。通过实例展示其语法和编译流程，实验表明它在多任务上超越现有方法。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。