「长上下文困境」共找到 1388 篇相关文章
庞若鸣还有苹果论文？改善预训练高质量数据枯竭困境
苹果基础模型原负责人庞若鸣在 Meta 任职期间，其在苹果参与的高价值研究仍不断发表。研究团队针对大模型训练中高质量数据枯竭问题，提出 Synthetic Bootstrapped Pretraining (SBP) 预训练流程，提升模型性能。
LangExtract：用LLM 一键完成长文档信息抽取与可视化
在2025年大语言模型迅猛发展时，信息抽取成了NLP场景里的“硬骨头”。Google在7月30日开源的LangExtract利用多种LLM，实现“按指令抽取+源文对齐 + 一键可视化”的完整闭环，还给出使用步骤和进阶操作。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
Mamba一作预告新架构！长文论述Transformer≠最终解法
Mamba一作将演讲整合成科普长文，探讨SSMs和Transformer模型权衡之术。认为Attention非万能，Transformer是阶段性最优。几天后将发布新架构，能与Transformers兼容，还回顾了两模型特点及结合优势。
谷歌DeepMind设立首个AI哲学家岗位，解决AGI伦理困境
谷歌DeepMind新设全职哲学家岗位，由剑桥学者Henry Shevlin出任。当下人们对AI恐惧渐入现实，而大众常用AI让AI意识成社会问题，这凸显了哲学家解决AGI伦理困境的必要性。
X-Actor 惊艳登场！长时唇动+情感同步人像动画生成
字节提出 X - Actor，一个音频驱动自回归扩散框架，能通过一张静态参考图像和一段音频生成逼真、富有情感表达的人像动画视频。其核心是两阶段解耦生成流程，实现长时间唇形同步与情感音频一致性。
乔纳森下一个iPhone神话，要黄了？OpenAI秘密AI硬件深陷三重困境
奥特曼与乔纳森联手打造终极个人AI助理，计划明年发布。但该项目面临基础设施和软件难题，包括算力与成本、人格设计及隐私问题，未来充满变数。
TACO: 让 CLI Agent 在自主迭代中学会丢掉无用上下文
由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。
上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口
2026 年前沿模型宣传至少 100 万 Token 上下文窗口，但利用不佳。Subquadratic 推出能处理 1200 万 Token 窗口的模型，称可绕过问题，还将推 5000 万窗口模型，其 SSA 架构有优势，基准测试成绩佳。
这个时代最缺的是「个人上下文」丨对话flomo浮墨笔记
量子位智库对话flomo浮墨笔记联合创始人刘少楠，探讨AI笔记产品发展。刘少楠分享了flomo定位、目标人群、降低门槛方法等，提及AI带来的认知变化，还谈了产品指标、功能考量、成本平衡等问题。