「attention去偏」共找到 305 篇相关文章
Kimi 和 DeepSeek，为什么出现在同一张模型架构图里？
本文梳理大模型Attention架构从分流到重组的变迁路径，以MiniMax多次架构调整、GLM-5.3-Flash融合Kimi与DeepSeek技术路线的案例，分析大模型研发的平衡逻辑与行业竞争力核心。
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
被高薪吸引却遭愚弄！科学家怒曝AI科研黑幕：多为个人“捞金”，DeepMind百万成果是“垃圾”
物理学家 Nick McGreivy 分享应用 AI 做研究的经历，指出 AI 方法在解决偏微分方程上远不如宣传，如 PINN 效果差。还提到 DeepMind 成果遭质疑，研究存在数据泄露、报告偏差等问题，AI 加速科学或被夸大。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
研究者尝试揭示扩散模型创造力的起源
斯坦福大学研究人员 Mason Kamb 与 Surya Ganguli 在论文中提出解释扩散模型创造力的机制，指出其创造力是去噪生成图像时的确定性结果，还识别出关键偏置，搭建 ELS 机模型并验证其准确性。
AI提效20%，我们程序员加班却越来越狠：老板量生产力的尺子，歪了？
文章指出 AI 虽提升编码效率，但整体提效有限，企业衡量开发者生产力的指标易走偏。不同行业对 AI 应用态度不同，企业需合理管理 AI 成本，未来人的价值体现在复杂工作中。
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
AI撑爆GitHub！天天宕机，18年老兵带5万星项目「决裂出逃」
GitHub第1299号用户、Vagrant之父Mitchell Hashimoto，因GitHub连续宕机和AI转型，带着5万星项目Ghostty出逃。AI让GitHub负载剧增，其资源向AI倾斜致基础设施维护变差，“去GitHub化”声音渐大。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。