「Attention性能瓶颈」共找到 2429 篇相关文章
一个投资人与他的AI龙虾助手70天真实协作笔记｜甲子光年
恒海奇点创始人姜海舟分享与OpenClaw构建的AI Agent协作系统70天经验。他指出企业AI化瓶颈在信息结构，提出四个判断，包括AI缺信息、‘眼高手低’者赢、AI不裁人、‘吓尿点’临近，认为窗口期只剩3 - 6个月。
ICLR 2026惊现SAM 3，分割一切的下一步：让模型理解「概念」
9月12日，匿名论文‘SAM 3: SEGMENT ANYTHING WITH CONCEPTS’登陆ICLR 2026，外界猜测出自Meta。SAM 3定义了可提示概念分割任务，性能比之前系统提升至少2倍，在多基准测试获SOTA成绩，但也有人质疑是旧概念包装。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
陶哲轩：AI 已经把想法成本降到几乎为0了...
著名数学家陶哲轩在与播客主持人Dwarkesh Patel的对谈中分享使用AI一年后的观点，认为AI已将想法生成成本降至几乎为零，但验证和评估成新瓶颈，还探讨其对数学研究的影响及未来发展。
碾压DeepSeek V3！阿里开源新版Qwen-3，屠榜级断层第一
今天凌晨1点，阿里巴巴开源Qwen3系列新版本Qwen3 - 235B - A22B - 2507。它是非思维推理的指令微调模型，性能强劲，在多类测试基准中大幅超DeepSeek开源的新版V3 - 0324及月之暗面的kimi - k2。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
成本不到8千美元！新浪微博1.5B小模型超越近万亿参数模型
新浪微博开源的VibeThinker - 1.5B模型，仅15亿参数、训练成本不足8000美元，却在顶级数学竞赛基准击败近万亿参数模型。它采用频谱到信号原则，分两阶段训练，性能出色，成本低且数据无污染。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
IC测试座与HBM：AI 时代幕后英雄
在AI技术飞速发展的当下，高性能计算芯片是关键，HBM作为AI芯片重要组成，其测试技术愈发重要。文章介绍了IC测试座与HBM在AI芯片中的应用、发展趋势，还提及HBM测试挑战及相关技术设备等内容。
Tilelang-1: Introduction
文章围绕TileLang展开，指出高层框架抽象层次高，难以满足算法创新和精细控制需求。TileLang将数据流与调度解耦，在易用性和性能间取得平衡。通过实例展示其语法和编译流程，实验表明它在多任务上超越现有方法。