「稀疏注意力架构」共找到 2079 篇相关文章
英特尔连环炸：CTO被OpenAI挖走、中国区架构大调！陈立武亲自下场扛AI，称“不再提供空白支票”
近日，英特尔CTO兼AI负责人Sachin Katti离职加盟OpenAI，他负责搭建计算基础设施。此前其部门未达营收预期，英特尔多位高管出走。CEO陈立武亲自领导AI业务，还推进改革和中国区架构调整。
Kimi K2发布两天即“封神”？80%成本优势追平Claude 4、打趴“全球最强AI”，架构与DeepSeek相似！
国内独角兽月之暗面发布并开源 Kimi K2 模型，推出两天就在 OpenRouter 平台 token 使用量超 xAI 的 Grok 4。它成本低、性能强，编码能力追平 Claude 4，架构与 DeepSeek 相似，技术研究也多次‘撞车’。
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
一个大脑搞定所有模态，百度ERNIE 5.0技术报告公布
模型发布近3个月后，百度ERNIE 5.0技术报告公布。其底座用超级稀疏架构，参数量万亿但推理激活参数不到3%，实现四种模态原生自回归统一，还在路由调度、训练范式等多方面有创新。
能识图、看视频，也能理解软件界面：蚂蚁百灵开源Ling-3.0-flash-VL
本文介绍蚂蚁百灵开源的多模态大模型Ling-3.0-flash-VL，该模型采用稀疏混合专家架构，支持图片、视频、软件界面理解，可将视觉信息用于推理与任务执行，开放权重采用MIT许可证供开发者部署测试。
RAG外部检索是多余的，英伟达最新成果颠覆认知
英伟达INTRA论文指出RAG架构中检索器和生成器在不同表示空间工作，存在retriever - generator mismatch问题。INTRA让模型用注意力查询检索自身编码表示，训练量小，在多跳QA上超越多种检索基线。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。