「多头潜在注意力」共找到 288 篇相关文章
OpenClaw 深度解析：一只龙虾凭什么震撼全世界
万字长文深度解析OpenClaw，阐述其核心原理、创新亮点以及对AI行业的深远影响。解读为何大厂难以打造类似产品，剖析简单任务实现困难的根源，还探讨了其设计机制、应用场景、潜在问题及应对策略。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
告别 260 亿美元的低效投入，HappyRobot 为物流业配置 “AI 调度员”
HappyRobot为物流市场搭建AI-native平台，切入“voice agent + 通信自动化”领域，打造“数字员工”。它能提升沟通效率、降低成本，已获6200万美元融资，还尝试拓展至其他行业。不过，也面临AI价值兑现不对称等潜在风险。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
对话谷歌前 CEO Eric Schmidt：数字超智能将在十年内到来，AI 将创造更多更高薪的工作
谷歌前 CEO Eric Schmidt 做客播客，探讨 AI 未来。他认为 AI 被严重低估，数字超智能十年内或到来，瓶颈是电力。还谈及 AI 对就业、商业、教育等方面的影响，以及潜在风险和应对建议。
阿里Qwen3.5小模型发布：0.8B参数就能处理视频，边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。