「线性注意力架构」共找到 2035 篇相关文章
Zed 为什么不用自己造 Agent？OpenAI 架构师给出答案：Codex 重划 IDE × Coding Agent 的分工边界
Coding agents 是应用型 AI 活跃领域，但团队常重复构建脆弱基础设施。OpenAI 的 Codex 提出“模型和 Harness 共同构建”，架构师介绍构建挑战与使用模式，还阐述了将模型适配到 Harness 的问题及未来发展方向。
我在哪？要去哪？要怎么去？字节跳动提出Astra双模型架构助力机器人自由导航
当今机器人导航系统在复杂室内环境面临挑战，字节跳动研发创新双模型架构Astra，含Astra - Global与Astra - Local子模型。经实验验证其性能佳，未来有广阔应用前景，但也存在需改进之处。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
Kimi K2发布两天即“封神”？80%成本优势追平Claude 4、打趴“全球最强AI”，架构与DeepSeek相似！
国内独角兽月之暗面发布开源模型 Kimi K2，推出两天就在 OpenRouter 超越 xAI 的 Grok 4。它成本优势大，能力泛化和实用性强，编码、Agent 工具调用等方面表现出色，架构与 DeepSeek 相似。
英特尔连环炸：CTO被OpenAI挖走、中国区架构大调！陈立武亲自下场扛AI，称“不再提供空白支票”
近日，英特尔CTO兼AI负责人Sachin Katti离职加盟OpenAI，他负责搭建计算基础设施。此前其部门未达营收预期，英特尔多位高管出走。CEO陈立武亲自领导AI业务，还推进改革和中国区架构调整。
Kimi K2发布两天即“封神”？80%成本优势追平Claude 4、打趴“全球最强AI”，架构与DeepSeek相似！
国内独角兽月之暗面发布并开源 Kimi K2 模型，推出两天就在 OpenRouter 平台 token 使用量超 xAI 的 Grok 4。它成本低、性能强，编码能力追平 Claude 4，架构与 DeepSeek 相似，技术研究也多次‘撞车’。
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
字节跳动发布SeedFold，蛋白质结构预测相关多任务超越谷歌AlphaFold 3，揭示大模型缩放新秘诀
字节跳动Seed团队推出新一代折叠模型SeedFold，在多个蛋白质相关任务性能上超越谷歌AlphaFold 3。该研究为有效缩放生物分子基础模型提供新思路，推出加宽模型、线性三角注意力等方法。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。