「注意力去偏」共找到 443 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
龙虾再进化！强化飞书表格技能，25.2万星登顶超越React/Linux
OpenClaw 2026.3.1正式发布，合并九十多个PR。其Star飙升至25.2万颗，超Meta的React登顶GitHub。更新核心卖点有二：模型武装升级，安卓节点玩法扩容；对国内使用更友好，可在飞书文档操作，Web UI支持双语。
内存涨价，千元机的天塌了
去年下半年起存储芯片涨价，因AI基础设施需求爆发，三大存储芯片厂产能被榨干。消费级产品供应受挤压，中低端手机成最大受害者，各厂商搁置低价产品线，中低端市场持续萎缩。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
顶级工程师Karpathy的“AI革命”：一个月前还在焦虑“落后”，如今“20年古法编程习惯”被彻底颠覆，80%代码已交给AI！
顶级工程师Andrej Karpathy分享用Claude编程心得，称过去20年编程方式在几周内改变，12月约80%代码交agent，自己做20%修改。Claude和Codex在2025年12月跨过‘一致性/连贯性门槛’，让agent编程可行。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
Claude Opus 5刚发布就被玩疯了~
Claude Opus 5刚发布，社区就玩疯了。Anthropic给它定位接近Fable 5，价格仅一半。网友让它与Fable 5、GPT 5.6等做物理场景测试，Opus 5表现不错，但也有不足。官方还给出了其Prompt指南。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
Lovart第一时间上线Image 2：每个人真的可以瞬间拥有一个设计部了
Lovart上线Image 2，有去AI味的写实感、强大文字生成与泛化推理能力，完爆Nano Banana 2。它结合独家工作流，带来设计体验飞升，还给出五个使用场景案例，并对比了与Claude design的差异。