「超长上下文处理」共找到 1561 篇相关文章
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
单卡搞定万帧视频理解！智源研究院开源轻量级超长视频理解模型Video-XL-2
智源研究院联合上海交通大学等机构发布新一代超长视频理解模型Video-XL-2。它单卡能处理万帧视频，编码2048帧仅需12秒，在效果、长度和速度上全面优化，已开放模型权重。
LLM 长文本处理的“不可能三角”？我们用 E2LLM 把它破解了！
长文本理解与推理是LLM的难题，存在效果、速度、兼容性的“不可能三角”。蚂蚁集团和华东师范大学提出E2LLM新范式，实现三者平衡，在效果和效率上表现出色，开启长文本处理新篇章。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架，突破 LLM 在上下文学习局限，能学上千示例，在多领域分类任务超基准模型。它有三项核心创新，效果惊艳且应用潜力大，还指明未来研究方向。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
普林斯顿大学等Nature揭秘：人类大脑与大语言模型共享同一套语言处理时钟
普林斯顿大学等机构研究发现，大语言模型层级计算序列精确映射人类大脑处理语言的毫秒级时间动态，其与人类大脑理解语言的先后顺序高度一致，为理解大脑和开发神经网络架构开辟途径。
医疗AI迎来大考！南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。
Cursor 1.3 ~ 1.6 版本更新全梳理：终端不再挂、Agent 更聪明、上下文更可控
Cursor 1.3 - 1.6 版本有诸多更新。如自定义斜杠命令、改进 Agent 终端、升级 Agent 能力、增加左侧边栏管理等，还在上下文控制、工作流保护、MCP 资源支持等方面有优化。