「上下文瓶颈」共找到 1250 篇相关文章
CVPR 2026 | ReFTA：打破张量化PEFT的「权重重建」瓶颈
随着大模型发展，全参数微调成本高，参数高效微调（PEFT）成主流。常见基于矩阵低秩分解的PEFT方法有局限，张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题，有工程和理论优势。
突破泛化瓶颈：阿里云智能运维 Agent 评测体系实践
大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践，阐述评测集重要性、构建方法，还展示其在提升智能运维 Agent 能力上的成效。
上下文工程又进化了：Harness实现AI完全自主化
近期Harness Engineering讨论火热，Harness是围绕AI模型的支撑架构，Anthropic用其突破AI局限，解决AI完成复杂任务时的偷懒问题，还通过多智能体架构用于前端设计、软件开发，经实战检验效果良好，后续还对其进行简化。
突破瓶颈，嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL，解决嵌入式AI持续学习难题。它优化记忆重放，有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少，成果将在2025年DAC大会展示。
OpenAI发布GPT‑6 Astra：百万级上下文，主攻编程和复杂办公
9月3日，OpenAI发布GPT - 6 Astra，重点提升电脑操作、软件开发和复杂工作处理能力。它有诸多更新，如电脑操作提速、支持异步工具调用等，但也存在监测难、价格高的问题，实际效果待验证。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
清华万引教授：万倍加速催化剂设计，AI突破DFT瓶颈！
清华大学王笑楠团队提出催化剂设计新基础模型SurFF，发表于Nature Computational Science。它无需昂贵实验或耗时DFT计算，实现对金属间化合物表面暴露与形貌的高效、高精度预测，计算速度提升10⁵倍。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式
本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。