ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

仅隔一天，OpenAI同步上线o3和o4 mini，它们能调用ChatGPT里的多种工具，可基于图像思考。o3是强大推理模型，o4-mini专为快速经济推理优化。即日起部分会员可体验，还开源了Codex CLI。

让 Coding Agent 开始「记住过去」：MemoraX Code 的长期记忆系统

过去一年，Coding Agent 改变开发者写代码方式，但进入长期开发仍会遗忘项目经验。MemoraX Code 试图解决此问题，构建了本地与云端记忆，让关键信息能被识别召回，且在赛事中表现出色，还能沉淀工程经验。

Claude Opus 5 发布：Fable 5 一半的价格，更强的编码能力

Anthropic 发布 Claude Opus 5，定价与 Opus 4.8 相同，价格是 Fable 5 的一半。它在编码、知识工作和推理上表现出色，虽有不足，如速度慢、幻觉率较高，但提供多种 effort 等级，成本低，安全对齐性好。

重写手机AI安全边界！首个MoAI攻防SoK，系统梳理三大安全支柱

墨尔本大学等联合发布论文指出，移动端AI硬件和模型发展使MoAI成重要范式，但带来安全风险。论文给出统一框架，拆解系统为四层，定义三大安全支柱，梳理攻击、防御图谱等，还提出开放问题与未来方向。

5.1K Star！Codebuff 把整个 AI 编程团队装进你的终端！

Codebuff是开源AI编程助手，获超5.1k stars。其多智能体架构让不同智能体分工协作，理解代码上下文更好、编辑更准。官方测试中完成率61%，超Claude Code。它免费且上手简单，还能创建自定义智能体。

专为终端设计 ，轻量快速，GB 大文件都秒开！

开源君发现一款基于 Rust 的终端文本编辑器 `Fresh`，目标是轻量、快速、功能强大，支持多平台，有7.1k+ star。它上手0门槛、轻量快速，有代码友好功能和丰富生产力工具，还支持插件扩展，提供多渠道安装方式。

多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%

香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。

GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」

大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。