算法论文7
Google ATLAS:处理千万token输入的新架构
DeeplearningAI
AI 摘要
Google团队设计“记忆模块”集成到ATLAS,替代注意力层处理超长输入。测试中ATLAS在长上下文任务表现佳,尤其一千万token输入时准确率高,但小模型大规模表现待察。
阅读原文 · DeeplearningAI
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS,能处理一千万token输入。它替代注意力层,训练后在长上下文任务中表现佳,但小模型,大规模表现未知。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
OpenAI高管:token比价不靠谱
OpenAI Codex负责人Tibo指出,不同模型对同一段文字切分的token数不同,即便单token价格相同,最终账单也可能差异很大。他还提到,token无统一计量标准,跨厂商和新旧模型计数都难通用,真正重要的是每次成功结果的成本。
新智元
新闻资讯7
谢尔盖・布林推动Google押注AI自我进化
据路透社报道,Google联合创始人谢尔盖・布林深度介入AI研发,推动递归式自我改进(RSI)方向。此前Google新一代Gemini旗舰模型发布推迟,内部测试显示在关键领域落后对手,此次调整或为提升研发效率。
机器之心
算法论文8
牛津、NUS 提出心智世界建模新方向
牛津大学和新加坡国立大学研究团队提出心智世界建模(MWM)通用框架,将心智变量纳入世界状态。还实现基准系统 MENTIS 验证其有效性,实验表明 MWM 对预测人类决策必要,瓶颈是状态转移模拟能力不足。
机器之心
新闻资讯7
Google 总监:AI 不替代开发者,边界将消失
文章是对 Google 全球开发者生态总监 David McLaughlin 的访谈。谈到 AI 会让开发边界消失,开发者应转变思维,AI 增强而非替代开发者,还探讨了谷歌工具策略、开发者出海问题、Token 管理等。
AI科技大本营