「上下文瓶颈」共找到 1250 篇相关文章
JFM | 浙江大学郑畅东、谢芳芳等：基于Transformer网络的上下文学习跨翼型的主动流动控制策略
浙江大学郑畅东、谢芳芳等提出基于Transformer网络的上下文学习跨翼型主动流动控制策略。该框架引入策略改进算子，结合强化学习与气动形状优化，在翼型流动分离问题中表现出色，提升了整体性能。
自回归因果注意力也能并行解码？上交联合UCSD突破LLM推理瓶颈，模型代码全开源
大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
协同加速，多机器人协作不再「慢半拍」！软硬一体化框架ReCA破解具身智能落地效率瓶颈
佐治亚理工学院等团队推出集成加速框架 ReCA，针对多机协作具身系统，从算法、系统、硬件跨层协同优化，经评估，实现 5 - 10 倍速度提升且成功率升 4.3%，为具身智能落地奠基。
CNSNS｜西工大曹文博、张伟伟：克服优化求解器中的损失条件数瓶颈：一种良性损失函数
基于优化的偏微分方程求解方法受关注，但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈，指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR，在收敛速度与稳定性间建立平衡，实验验证其有效性。
突破企业AI落地的瓶颈：LangGraph × OceanBase 的融合数据层深度实践与解析（附源码）
麻省理工报告显示约95%企业实施AI后未获商业回报。文章从企业级AI应用场景切入，探讨数据层需求，通过Demo展示LangGraph与OceanBase融合构建数据底座，解决企业AI落地瓶颈，附源码。
字节 AI 卷出新高度：豆包试水“上下文定价”，Trae 覆盖内部80%工程师，战略瞄定三主线
近日字节分享 AI 技术发展三主线，6 月 11 日火山引擎有系列发布更新。豆包 1.6 实行上下文定价，成本降低；超 80% 字节工程师用 Trae；视频生成模型 Seedance 1.0 Pro 具性价比；智能体带动强化学习算力攀升。
突破高分辨率图像推理瓶颈，复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO
先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
翁荔新博客提出「自进化先从Harness开始」，DeepSeek崔添翼转发附议
前OpenAI安全副总裁翁荔新博客探讨AI自进化，提出从Harness开始的现实路径。DeepSeek崔添翼转发附议，认为Harness方向自进化很可能出成果。翁荔梳理研究，展示优化递进趋势，也指出实现递归自我改进存在的瓶颈。