「attention去偏」共找到 297 篇相关文章
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。
研究者尝试揭示扩散模型创造力的起源
斯坦福大学研究人员 Mason Kamb 与 Surya Ganguli 在论文中提出解释扩散模型创造力的机制，指出其创造力是去噪生成图像时的确定性结果，还识别出关键偏置，搭建 ELS 机模型并验证其准确性。
AI提效20%，我们程序员加班却越来越狠：老板量生产力的尺子，歪了？
文章指出 AI 虽提升编码效率，但整体提效有限，企业衡量开发者生产力的指标易走偏。不同行业对 AI 应用态度不同，企业需合理管理 AI 成本，未来人的价值体现在复杂工作中。
刚刚，何恺明团队新作，「嵌入式语言流」ELF来了
何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。
AI撑爆GitHub！天天宕机，18年老兵带5万星项目「决裂出逃」
GitHub第1299号用户、Vagrant之父Mitchell Hashimoto，因GitHub连续宕机和AI转型，带着5万星项目Ghostty出逃。AI让GitHub负载剧增，其资源向AI倾斜致基础设施维护变差，“去GitHub化”声音渐大。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
每天上线一个新系统，这款腾讯自用低代码有什么不同
腾讯自用低代码平台无极，平均每天上线1.2个新系统，用户覆盖1/3员工。它去模板化，从数据结构设计开始，数据推导UI，有灵活编辑器，支持渐进式开发，具备集成性和开放性，还有AI赋能。