「混合注意力」共找到 412 篇相关文章
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
华为 | MoE推理「王炸」组合：昇腾原生盘古推理，性能狂飙6-8倍！
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型，经系统级软硬协同等优化，推理性能提升6 - 8倍。还提出分层混合并行等策略，打造融合算子，设计推理算法，在昇腾不同平台展现卓越性能。
消费级具身智能跨越式新品：算力提升1000倍，对标英伟达Jetson Thor芯片，成本仅1/10！
蔚蓝科技发布新款机器狗 BabyAlpha A3，算力提升 1000 倍，对标英伟达 Jetson AGX Thor T5000 芯片，成本仅 1/10。它采用国产芯片，具身智能边缘端混合异构计算集群，感知超人类，实现全自主智能。
13小时不眠不休，300个分身狂敲代码！开源第一易主了
4月20日深夜，Kimi K2.6出道即开源，展示了强大的「全栈交付」能力，跑分超GPT - 5.4等。它能完成多类型官网制作，300个Agent协作能力强，还能复刻高盛研报、交付三件套，其Claw群组开启小范围测试。
mem9：让微信里的龙虾不再失忆
文章介绍了 mem9 这一给 AI Agent 用的持久化记忆基础设施。它由 TiDB 团队打造，能解决 AI 失忆问题，实现记忆云端存储、无缝迁移，有两段式提取、混合搜索等功能，还能筛出重要记忆。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’，无法确认漏洞是否可被利用，导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式，先定位可疑点，再对漏洞进行真实攻击验证，显著降低误报率。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。