「滑窗线性注意力」共找到 278 篇相关文章
无法蒸馏的美国市场，谁在分食 Frontier Labs 百亿美金预算？
本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。
时间会证明光的
市场曾质疑AI资本开支高增长的持续性，如今随着头部模型公司ARR非线性爆发式增长，AI商业正向循环打通。在AI硬件产业链中，光互联是国内厂商全球参与度最高、份额最稳固的环节，正迎来最好时代。
比肩Claude Opus：阶跃星辰最强模型Step 3.5 Flash发布
阶跃星辰发布最强模型 Step 3.5 Flash，参数强大，性能与前沿顶级大模型并驾齐驱。其架构平衡算力与智力，有独特注意力布局；基础设施保障训练稳定；强化学习激发智能体潜能；评测数据显示战斗力强，未来还将持续优化。
Claude Code 新功能 Agent Teams：4 类活效率翻倍，4 类活纯烧 token
Claude Code v2.1.32 后新增实验性功能 Agent Teams，可将其从单个 AI 助手升级为 AI 团队，但会使 token 用量线性放大。文章总结了适合和不适合用此功能的任务类型，还给出决策清单、实战避坑建议。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5
在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
LeCun证明了：规模从未起作用，下一token路线效率低
LeCun 团队发文在数学上论证了跨模态表征收敛的柏拉图假说；其提出的好视图 JEPA 方案使1.09亿参数模型表征对齐度超过72B大模型，样本效率最高提升42倍。