搜索：混合注意力模型

「混合注意力模型」共找到 7807 篇相关文章

AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？

文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。

Anthropic发布神话模型Claude Mythos Preview却不开放使用，发起玻璃翼计划联合科技巨头用该模型修复全球软件漏洞。此模型能自主发现众多零日漏洞，合作伙伴应用后强调跨行业协作应对网络安全挑战。

智谱深夜发布的新一代旗舰模型 GLM - 5，此前以匿名模型 Pony Alpha 被开发者热测。2026 年编程大模型风向转变，GLM - 5 参数提升，测试成绩优异，实测能完成复杂工程任务，适配国产算力平台。

HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

哈佛医学院等团队让OpenAI o1系列大模型与数百位医生在多项测试中较量，大模型在各项诊断和管理推理任务上全面超越人类专家，不过当下模型处理非文本信号有局限。

长期目标检测依赖传统坐标回归模型，MLLMs方法存在不足。IDEA研究院提出30亿参数的Rex - Omni多模态大模型，在零样本测试中表现超现有回归模型，还具备丰富语言理解能力，有独特设计和训练流程。

Qwen3技术报告揭晓8款模型关键技术，采用双模式架构，训练和微调分段进行，还“大带小”蒸馏数据。其融合思考与非思考模式，训练分多阶段，Qwen Chat还全量上线深度研究功能。

随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。

本文聚焦大语言模型在代码推荐中的「供应商偏见」，通过分析7个主流大模型在30个场景的59万次响应，发现模型会偏好特定供应商，甚至擅自修改代码，还探讨了风险、局限并给出展望。