「Transformer层」共找到 535 篇相关文章
CSDI峰会开启：Agentic AI 落地应用的黄金期，智能系统重塑生产力
2026年AI从大模型迈向智能体，技术底座爬坡，应用层将爆发。Agentic AI降低构建门槛，行业渗透惊人，未来智能体将重塑生产力，竞争焦点转向生态协同。2026 CSDI峰会10月16 - 18日在深圳召开，共探其应用。
NVIDIA 入局量子基础设施：Ising 模型主打自动校准与实时纠错
NVIDIA宣布推出开源NVIDIA Ising模型，解决量子处理器校准和纠错问题。它含校准和解码两组件，速度和准确性优，可本地部署。与传统方法不同，它是与硬件无关的开源模型层，社区反馈有期待也有疑问。
马斯克罕见低头：开源𝕏推荐算法，自嘲“很烂”不过未来月更
马斯克开源𝕏推荐算法系统，这是几乎全由AI模型驱动的系统。它基于Grok - 1同款Transformer架构，通过学习用户历史互动行为推荐内容。虽获社区称赞，但算法有缺陷，马斯克也承认‘很烂’，未来将月更。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
英伟达龙虾模型开源，12B激活登上成功率全球第四
英伟达发布专为龙虾打造的开源模型Nemotron 3 Super，总参数120B，激活参数12B，在龙虾模型基准PinchBench上成功率全球第四。该模型结合Mamba与Transformer架构，引入多项创新技术，还开源了模型权重、数据集等。
中国AI登顶全球之巅，顶流女团MV燃爆开场！AI音乐奇点已至
昆仑天工发布Mureka V8音乐大模型，基于MusiCoT技术，在音乐性、人声表现力和编曲层次等方面显著提升，使AI音乐达「可发布」级别，评测超Suno V5，还与太合音乐合作，欲打造全球AI音乐第一平台。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
The Batch: 873 | 通过自监督学习实现更好得图像处理
Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。
2025 AI Agent全景报告：50+权威数据，85%企业已上车、发展趋势预测！
index.dev发布AI Agent调研报告，盘点50多个关键数据，涵盖应用趋势、场景、工作流等。截至2025年，85%组织集成AI Agent，市场价值73.8亿美元，预计2032年达1036亿美元。报告还分析技术栈各层应用及市场趋势。