「注意力去偏技术」共找到 3147 篇相关文章
技术·艺术· 算术:京东零售 AIGC 百亿素材供给实践
本文整理自 QCon 全球软件开发大会·2026 石孝钢演讲。京东零售面对百亿级商品素材供给难题,构建 Oxygen Vision 系统,从艺术、技术、算术三方面探索,实现日供超 1000 万素材,服务超 100 万家商家,核心 XTR 综合提升 29%。
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
华为昇腾在部署超大规模MoE时推理性能创新高,全面超越英伟达Hopper架构。其采用‘以数学补物理’方式,还将全面开源。团队从多方面优化,在不同硬件上取得优异性能,本周还将举办技术披露周。
北大团队改造DeepSeek注意力,速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA,突破64K上下文索引瓶颈,相比DSA提速2 - 4倍,且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步,实测表现亮眼,也指出后续改进方向。
DeepSeek 模型技术之旅:从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进,对比了基座与推理模型,介绍了架构、训练方法变化,如 V3.2 结合 MLA 与 DSA,更新奖励和 GRPO 算法,还提及 V3.2-Speciale 扩展思考特性。
李飞飞最新播客:AI 是一项文明级技术,以人为本是关键
AI教母李飞飞在High Signal播客指出AI是文明级技术,分享构建以人为本AI的见解,涵盖研究动机、好奇心作用、AI同心圆层级等话题,还强调空间智能重要性,给出AI发展建议。
我在618主场,和3位顶尖技术博士聊了聊
本文讲述了作者在618与京东三位技术博士的交流。长林主导同品判别系统优化,采用模型蒸馏和数据筛选提升效率;星衍负责物流机械臂项目,强调打透场景;初雪专注语音识别,提升识别准确率和探索创新方向。京东还推出TGT计划吸引人才。
科学家发现大脑中的“旋转风暴”,其结构竟类似Transformer注意力机制
2026年6月18日,叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波,总结特征、验证其与全脑及行为关联,还指出其类似Transformer注意力机制,未来将继续深入研究。
谷歌Transformer过时了?清华姚班校友等三连击,爆改注意力!
谷歌提出新架构,参数减少40%,训练速度较RNN提升5 - 8倍,某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略,用「保留」取代「遗忘」,还提出Moneta、Yaad、Memora三个新模型,在多任务上表现卓越。
故障率降低100倍,微软突破性技术破解AI算力浪费大难题
在AI数据中心,网络链路高故障率制约算力释放。微软在“ACM SIGCOMM 2025”大会公布MOSAIC技术,将链路故障率降100倍,实现50米长距传输、最高68%功耗降低,为大规模AI集群提供支撑。
中国AI Agent产业化参考范本:斑马口语攻克的四大技术难关
2025年AI产业转折,通用大模型落地难,垂直场景成关键。斑马口语作为垂直落地的AI Agent,突破实时交互、语音识别、内容适龄、多模态呈现四大技术难关,为中国AI Agent产业化提供范本。