搜索：长上下文大语言模型

「长上下文大语言模型」共找到 8246 篇相关文章

阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning

阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。

2026年初，Anthropic用Claude Cowork引发AI创业热点，其计划引入知识库获“永久记忆”能力，将Agent Memory探索推到前沿。文章探讨独立Memory层成必需品的原因、工程化记忆系统的能力，还对比模型厂商和第三方中立派路线。

文章围绕将思维链（CoT）引入具身智能领域展开。介绍CoT从语言层面到成为机器人行为核心认知机制的转变，分析分层架构与端到端模型两种技术路径，还阐述自变量机器人统一架构的优势和能力。

OpenAI发布GPT - 5.4 mini和nano，继承GPT - 5.4优势，速度快、成本低。在编码、推理、工具调用等方面表现出色，可作为「龙虾」主力模型。还提出分层调度架构，且全线上线，免费用户也能用，但mini长上下文处理有短板。

文章指出AI系统需要设计模式，如GoF塑造软件设计，云计算引入新模式，机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式，含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等，并举例说明。

作者实测 MiniMax 新模型 M2.7，其在基准测试、代码能力、多智能体协作等方面表现出色。接入 OpenClaw 后，能高效完成复杂任务。M2.7 指令遵循率高、长上下文处理能力强且价格低，有望提升 Agent 生态表现。

文章指出大模型发展呈能力跃迁、生态开放趋势，推动AI应用从聊天机器人向组织级智能体演进。AI中间件可解决应用工程化挑战，但面临上下文管理、记忆更新等难题，短期助力应用规模化，长期或成组织智能“神经中枢”。

前Google DeepMind AlphaProof项目联合负责人Rishi Mehta发布关于2025年IMO结果的分析。今年OpenAI和Google DeepMind双双宣布达到金牌水平，解法各有特点。Mehta预测前沿大语言模型明年或开箱即用获奖牌，未来6个月内或攻克非平凡开放数学问题。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。