搜索：长上下文困境

「长上下文困境」共找到 1349 篇相关文章

华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍

新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。

随着 AI Agent 应用发展，记忆系统成为构建实用 AI Agent 系统的关键技术。文章介绍了记忆基础概念、Agent 框架集成记忆系统的架构，阐述了短期记忆的上下文工程策略和长期记忆技术架构及集成，还分析了行业趋势与产品对比。

Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」，存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法，并以 Agentic RL 中的资源调度系统为例验证其有效性，还介绍了相关团队和工具。

视觉 - 语言 - 动作模型（VLA）在机器人操控领域潜力大，但应对长时序或精细操作任务时性能下降，根源是缺乏三维空间感知与推理能力。中国科学院自动化研究所与灵宝 CASBOT 提出 QDepth - VLA 模型，提升了机器人空间推理与操控精度。

明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。

本文从系统工程视角剖析 Agent 系统问题与复杂度，指出开发中‘简单’是假象，复杂性只是被转移。介绍了 Agent 开发各阶段难点，通过案例说明其落地困境，提出将其视为系统组件，先求稳定可靠，还提及开发思路、模式及最新进展。

淘宝推荐信息流业务被“需求多、技术栈杂、协作慢”困扰，上线周期长。WaterFlow这一AI驱动的端到端开发实践，让部分需求两天内上线，产品经理也能参与。文章揭秘其落地及协作模式改变，还展示了实践效果。

本文围绕阿里云栖大会，剖析阿里巴巴战略转型。其向“AI驱动，公共云优先”迈进，市场低估其AI云潜力。大会展示愿景、降价策略与生态布局，从资本、公共云、全栈技术构建优势，虽短期财务承压，长期增长可期。

斯坦福提出新的RL范式，让小模型Qwen2.5 - 3B经训练后性能超越Claude - 3.5 - Sonnet等大模型。论文解决了RL在代理环境中可变时长动作优化偏差和稀疏奖励两大挑战，为AI代理发展指明方向。

谷歌推出Genie 3后，OpenAI宣布发布开源推理模型gpt-oss，有gpt-oss-120b和gpt-oss-20b两个型号，采用混合专家架构和4位量化方案，能快速推理，原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。