「新架构」共找到 4961 篇相关文章
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。
The Batch: 859 | Qwen3 的自主智能新进展
不到两周前 Kimi K2 超越其他开源非推理模型，如今阿里巴巴发布基于早期 Qwen3 - 235B - A22B 的三款新大语言模型权重，介绍了输入输出规格、架构设计、性能表现、使用方式等，还进行了性能对比。
网易云音乐前 CTO 曹偲：代码越来越不重要，好的架构才是软件工程核心
网易云音乐前CTO曹偲推出AI Coding产品Toco AI，旨在将确定性和工程性带入AI Coding。他认为架构决定软件开发上下限，代码会逐渐黑盒化，业务架构更重要且难被AI取代，产品可助力软件开发。
从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术，如DeepSeek V3的多头潜在注意力和混合专家技术，OLMo 2的后归一化策略，Gemma 3的滑动窗口注意力等，探讨架构改进与突破。
GLM-5架构曝光，智谱两日涨60%：采用DeepSeek同款稀疏注意力
GitHub代码确认GLM - 5架构细节，它采用DeepSeek - V3/V3.2架构，含稀疏注意力和多Token预测，参数量745B。OpenRouter上神秘「Pony Alpha」被指是其测试版，受消息影响智谱AI港股两日涨60%。
百度 TURA 三阶段架构：让 AI 检索 “动” 起来
现有检索增强生成（RAG）系统只能读取已索引的静态网页，无法满足用户实时数据需求。百度 TURA 架构用工具调用将 RAG 升级为动态交互，分检索、规划、执行三阶段，已在百度亿级流量场景跑通。
英伟达成开源新王？Nemotron 3全新混合专家架构，推理效率升4倍
北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。
创智&交大发现AI能动性新规律, 78样本胜GPT5实现软件+科研自动化
上海创智学院和上海交大刘鹏飞老师团队发现AI能动性新规律，LIMI仅用78个样本就超越GPT - 5达14.1%，提出能动性效率原则，即AI能动性不仅源于数据丰富性，更来自战略性构建，为AI系统开发开辟新路径。