「注意力算子库」共找到 501 篇相关文章
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
不用上传数据了！苹果正式开源 Embedding Atlas，用 Rust+WebGPU 在桌面实现科研级数据分析
苹果发布开源工具 Embedding Atlas，支持对大规模嵌入向量交互式可视化与探索。它在浏览器端运行，保障数据隐私，有多种可视化功能，提供 Python 包和 npm 库，已在 GitHub 开源。
手把手带你入门机器人学习，HuggingFace联合牛津大学新教程开源SOTA资源库
HuggingFace与牛津大学研究者推出机器人学习教程，附带开源数据集、模型等的LeRobot库。教程从经典机器人学讲起，介绍强化、模仿学习及通用策略，还提及解决现实瓶颈的技术与前沿模型。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
Cloudflare 发现了 hyper HTTP/1 实现中的竞态条件问题并进行了修复
Cloudflare记录开发团队发现并修复Rust常用HTTP库hyper中的罕见漏洞，该漏洞可能截断大型HTTP响应，已在上游修复，引发Rust从业者对事件及处理方式的讨论。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
统一20+多智能体方法，MASLab震撼发布
由十机构联合推出的 MASLab，带来大模型多智能体系统代码库，统一 20+主流 MAS 方法。有方法全、评估准、结构清晰特性，经大量实验刻画性能图谱，还提出新方法，且发起开源社区。