「两阶段注意力机制」共找到 1642 篇相关文章
GLM-5登顶开源模型No.1！智力指数首破50大关，打平Opus 4.5
在Artificial Analysis评测中，GLM - 5成开源权重模型智力排名第一，是首个智力指数破50的开源模型，除代码能力外各方面表现出色。它集成DeepSeek稀疏注意力，参数规模大，擅长“搞钱”任务，幻觉率低且输出精简。
震撼！0人类，16个Claude全自主开发，2万美元十万行代码成功运行Linux
Anthropic研究员用Claude Opus 4.6智能体团队自主编写超十万行代码的C语言编译器，能运行《毁灭战士》、编译Linux内核。团队用拉夫循环等机制让Claude自主开发，虽有局限但全自动软件开发时代已提前降临。
马斯克兑现承诺，开源X推荐算法！100% AI驱动，0人工规则
1月11日马斯克宣布7天内开源X平台推荐算法，如今承诺兑现。新算法由Grok驱动，全AI化，移除人工规则。它双引擎驱动信息流、15种行为预测打分，还揭示过滤机制与设计理念，为创作者提供曝光建议。
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
从人工到AI驱动：天猫测试全流程自动化变革实践
AI时代，天猫技术质量同学探索AI在测试全流程提效的落地方案，将传统测试工作链拆解为五阶段，目标是实现全流程自动化等。介绍了测试体系变革、所需关键能力、技术架构及落地收获与未来趋势。
Mini-Omni-Reasoner：实时推理，定义下一代端到端对话模型
现有端到端对话模型推理能力未解锁，因深度思考带来延迟。为此提出 Mini - Omni - Reasoner，采用边思考边表达范式，突破‘要么快，要么准’困境，还设计了数据合成管线和五阶段训练方法，实验证明其性能提升明显。
具身智能还需要一个「五年耐心」
作者与具身智能领域人士交流后认为，具身智能还需「五年耐心」。当下通用机器人进工业产线挑战大，一到两年或迎「GPT - 3.0 时刻」，但到「GPT - 4.0」阶段还需解决数据、硬件等诸多问题。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
当AI接管70%代码审查工作，剩下的30%才是 “地狱模式”
2024年初“Vibe Coding”成热词，其虽能快速验证想法，但在大型企业项目中“不可控性”凸显。亚马逊云科技研发的Kiro，尝试解决“从提示词到生产”的断裂问题。目前代码审查多采用混合模式，AI仅处初级阶段。
模仿人类推理修正过程，阶跃星辰提出形式化证明新范式 | 开源
阶跃星辰发布并开源形式化定理证明大模型 StepFun-Prover-Preview-7B 和 32B。采用两阶段监督微调、工具集成强化学习及 RL 与 SFT 迭代循环优化等策略，在基准测试集表现佳，还展示多个证明案例。