「自注意力层」共找到 1599 篇相关文章
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
谷歌用Gemini 3同时革了OpenAI和英伟达两家的命
谷歌发布Gemini 3全家桶，打断英伟达和OpenAI双赢美梦。它实现原生多模态，对OpenAI构成代际优势；用TPU训练模型，摆脱CUDA依赖，冲击英伟达算力神坛。谷歌全栈自研，其发展或改变AI格局。
Agent 跑分追平 Codex、成本低至 1.95 美元，这家中国公司做到了
德勤报告显示86%多Agent项目落地失败，硅谷也出现‘无限智能体死循环’。EvoMap团队的EvoX采用‘蜂群式自进化’打法，系统容错率翻倍、完成率跃升，成本大幅降低。跑分追平Codex，还展现出自组织潜力。
给你一套框架，理解AI时代
作者综合多方观点提炼出理解AI时代的三层框架。技术栈分底层模型能力、中层基础设施、上层应用场景；价值链是供给驱动，供给侧突破创造新需求；竞争格局在通用层赢者通吃、基础设施层多元共存、应用层快速迭代。
Claude Managed Agents提了两个新改进，解决企业级安全问题
企业把AI接入内网，认证令牌风险大，阻碍全面接入内部API和数据库。Anthropic为Claude Managed Agents提出自托管沙箱和MCP隧道两个新解法，核心是让凭证控制权留在网络边界，还介绍了相关沙箱服务商。
Kimi新论文太硬核了！马斯克和Karpathy相继点赞~
马斯克和Karpathy点赞Kimi新论文《Attention Residuals》。该论文由杨植麟带队、苏剑林等参与，提出注意力残差（AttnRes），解决深层网络信息稀释问题，还通过工程折中降低成本，实验效果良好。
RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现，RL收益集中在中间层，训练单层可超全参数训练。他们提出层贡献度指标，经多模型、算法、任务实验验证，还给出三种训练优化策略。
Skills刚火，就有零Skill的Agent来了…
Skills爆火之际，云玦科技团队提出不用Skills的零Skill Agent。它以Gemini 3 Pro为后端，在多个评测集表现出色。采用原位自进化框架，开源且成本低，或助力开源模型弯道超车。
VoxCPM2：无tokenizer语音合成，高保真声音克隆
VoxCPM2突破传统TTS系统局限，直接操作连续声学特征，保留音色纹理更完整。基于扩散自回归架构，有硬核技术指标，提供三种克隆模式，性能佳，生态完善，微调便捷，但也存在安全风险。
普通程序员怎样转到AI方向拿到更好的offer
在AI研究员拿天价offer的当下，探讨普通程序员转AI方向拿更好offer的方法，还介绍了AI生态的五个层次，包括各层岗位、年薪及容量。