「长上下文问题」共找到 4076 篇相关文章
为什么95%的智能体都部署失败了?这个圆桌讨论出了一些常见陷阱
硅谷圆桌论坛指出,95%的AI智能体部署失败,原因并非模型不智能,而是基础框架、上下文工程等未成熟。还探讨了上下文工程实践、信任治理、记忆设计、多模型编排等问题,给出创业者需思考的问题。
Agent = LLM + Memory + Planning + Tool Use
文章指出LLM设计无状态,产生幻觉,超长上下文窗口也无法解决记忆问题。介绍人类记忆的三个系统,阐述Agent记忆四层演化及每层问题,推荐开源项目Cognee将向量、图、关系型结合互补。
上周 GPT 和 Codex 各有一个发布,很多人没注意吗?可以解锁 Codex 百万上下文了
最近基模发布多,OpenAI 俩更新被低估忽略。一是 GPT - 5.6 Sol 的 Ultrafast 模式,输出最高达每秒 750 Token,先向少量 API 客户开放;二是 Codex 为其开放百万上下文能力,不过大窗口有代价。
大神Karpathy都投的AI实时视频生成模型:直播都能立即转,无限时长几乎零延迟
AI初创公司Decart推出首个零延迟无限实时视频生成的AI模型MirageLSD,大神Karpathy都投资了。它能实时生成视频流,无时长限制且延迟低至40毫秒以下,还攻克了传统模型‘误差累积’难题。
突破一亿Token极限:EverMind提出MSA架构,实现大模型高效端到端长时记忆
机器之心发布文章介绍,大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构,突破扩展性、精度和效率的不可能三角,实现100M长度的大模型长时记忆框架。
比Vibe Coding强100倍!字节 Trae 2.0 携“上下文工程”登场:一句话,从需求干到上线!
字节跳动的AI编程助手Trae发布2.0版本,新增SOLO模式,可实现从想法到应用的一站式交付。上下文工程领域热度攀升,该概念因Andrej Karpathy推动而爆火,Trae迭代快,已建立完整能力体系。
AI Coding 生死局:Spec 正在蚕食人类编码,Agent 造轮子拖垮效率,Token成本失控后上下文工程成胜负手
本文为《2025 年度盘点与趋势洞察》系列之一,聚焦 AI Coding 在程序员群体的演进与落地。探讨了 Spec 驱动开发、Agent 崛起、Token 成本等问题,指出上下文工程是 AI Coding 成败关键。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。
Shopee OnePiece:业内首个融合上下文工程、隐式推理和多目标训练策略的生成式搜推建模框架
2025年生成式推荐发展火热,但工业界落地多在序列化建模,替换传统范式遇阻。Shopee傅聪团队联合人大高瓴学院提出OnePiece范式,是业内首个融合多策略的生成式搜推建模框架,含上下文工程、隐式推理和多目标训练策略。
智谱 GLM-4.5 团队深夜爆料:上下文要扩、小模型在路上,还承诺尽快发新模型!
今日凌晨,GLM系列模型四位研发成员在Reddit的AMA活动中,回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点,还承诺尽快发新模型,也探讨了大模型发展观点。