搜索：注意力偏差校准

「注意力偏差校准」共找到 279 篇相关文章

北大DeepSeek论文或预定ACL Best Paper！梁文锋署名

北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。

谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。

字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。

Claude Code发布Agent View，它像给Claude Code的tmux，能将多个Claude会话状态分类展示，帮用户分配注意力。它把Anthropic内部工作流产品化，有会话与窗口解绑、工作树隔离等设计。

近年来大模型任务突破离不开RLVR关键技术，许多RLVR方法会进行组内优势估计，北航等最新工作揭示其存在系统性偏差，困难题优势被低估，简单题被高估。这会影响训练，论文提出校正算法。

2025年1月17日，研究者Neel Somani让GPT-5.2 Pro解1980年提出的埃尔德什猜想第281号问题，证明经陶哲轩验证成立。此外，网友发现有更简单经典解法。陶哲轩提醒评估AI真实成功率有报告偏差。

文章回顾“AI助手”三次预期校准，指出Manus完成Agent启蒙使命，随后分析Agent发展现状，提到其将从炫技到日常，还指出Chat时代落幕，中国模型创业者正加速，探索谁能成“中国的Anthropic”。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

文章指出OpenAI的Harness工程模式与瓦特离心式调速器、Kubernetes类似，都遵循控制论。代码库此前反馈回路在低层面，大语言模型改变现状，但需校准传感器和执行器，忽视工程实践代价会变得无法承受。

动态失速威胁风力机叶片安全与发电效率，传统模型有局限。西工大团队开发数据融合神经网络与动量叶素理论耦合框架，能高效高精度预示三维叶片动态失速，虽部分工况有偏差，但预测精度显著提升。