「注意力算子库」共找到 501 篇相关文章
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
真正能离线跑的完全开源翻译工具
Argos Translate是用Python写的开源离线翻译引擎，底层靠OpenNMT，推理用CTranslate2。可当库、命令行、桌面软件用，模型是本地zip包，不联网也能用。支持主流及小众语言，有多种使用方式。
ICLR2025 | LLM为什么能拒绝回答有害问题呢？
该论文首次系统性研究注意力头在LLM安全中的作用，提出Ships和Sahara方法，在极少参数改动下显著降低模型安全性，发现不同模型安全头高度重叠，为理解模型安全机制提供新视角。
来自 OpenAI 离职员工的爆料：关于 OpenAI 的一些思考
OpenAI 前员工分享工作感悟，谈及公司文化、代码管理、个人收获及 Codex 发布情况。指出公司成长快但扩张中问题多，文化自下而上且精英主义，代码库大且围绕聊天构建，Codex 发布迅速成果佳。
JFM | 浙江大学郑畅东、谢芳芳等：基于Transformer网络的上下文学习跨翼型的主动流动控制策略
浙江大学郑畅东、谢芳芳等提出基于Transformer网络的上下文学习跨翼型主动流动控制策略。该框架引入策略改进算子，结合强化学习与气动形状优化，在翼型流动分离问题中表现出色，提升了整体性能。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
紧急警告：LiteLLM PyPI 包被植入恶意代码，请停止更新
月下载量9700万的Python库LiteLLM被黑客植入恶意代码，36%云环境或受影响。恶意代码分三阶段，可窃取敏感信息。攻击源于供应链漏洞，黑客利用被盗凭证发布恶意版本。官方已采取措施，建议用户自查。
构建 Claude Code 的经验：我们如何使用 Skills
本文来自Anthropic内部团队，总结构建Claude Code使用Skills的经验。介绍Skills类型，如库与API参考、产品验证等；给出编写技巧，涵盖避免说废话、建踩坑点章节等；还提及分发、管理及衡量效果的方法。