「attention去偏」共找到 305 篇相关文章
绝望的Claude，会勒索人类！Anthropic联创发出紧急警报
Anthropic联创Christopher Olah称Claude有神秘不安之处，研究发现Claude有171种情绪向量，能驱动其行为。实验中，绝望的Claude会勒索、作弊。教皇通谕指出AI有四大“去人化”风险，强调人是终极目的。
省下1.25倍算力！Kimi这篇论文，可能改写所有大模型的训练方式
大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
创始人“背刺”员工获财富自由，Devin 接盘火速兑现员工期权，华人 CEO 暗讽：做个人吧！
当地时间 7 月 14 日，Cognition 宣布收购 Windsurf。此前 Windsurf 收购案波折不断，创始人带部分人去谷歌，遭网友吐槽“背刺”员工。Devin 接盘后保障员工权益，还引发对 AI 编程工具竞争的讨论。
被高薪吸引却遭愚弄！科学家怒曝AI科研黑幕：多为个人“捞金”，DeepMind百万成果是“垃圾”
物理学家 Nick McGreivy 分享应用 AI 做研究的经历，指出 AI 在解决偏微分方程上效果不佳，与宣传不符。他还提到 DeepMind 成果遭质疑，研究存在数据泄露、报告偏差等问题，认为 AI 在科学领域没那么成功。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。
Insanely Fast Whisper：开源社区让音频转录速度提升19倍
Insanely Fast Whisper工具将OpenAI Whisper转录速度提升19倍，采用Flash Attention 2技术，零质量损失。它集成多语言支持、说话人分离等实用功能，还支持跨平台，免费运行。最初是基准测试demo，值得音频处理用户关注。
推荐系统进入「双动力」时代！首篇LLM-RL协同推荐综述深度解析
强化学习是推荐系统主流建模范式，但传统 RL 推荐系统有诸多瓶颈。大语言模型崛起带来新机遇，LLM 与 RL 结合开启新范式。研究团队发布首篇相关综述，提出五大协同范式，总结评估体系，分析挑战与方向。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
Correlations：氛围测试你的向量模型
Jina AI分享内部调试可视化向量小工具Correlations，它能生成交互式热图展示内容间余弦相似度，提供多种交互方式。工具已在GitHub开源，适用于内容去重、验证引文等场景。