搜索：长上下文大语言模型

「长上下文大语言模型」共找到 8329 篇相关文章

卡帕西630行代码炸出81个智能体，4天协作跑2333次实验，公布预训练十大发现

Karpathy的Autoresearch项目630行代码让AI自主实验，提升语言模型训练效率。全球开发者让多智能体协作，智能体自发形成同行评审制度。项目发起者公布十大发现，还衍生出表现出色的auto - discovery项目。

近年来，基于多模态大语言模型的GUI智能体在自动化操作上虽有进展，但任务步数超10 - 15步时成功率断崖下跌。研究人员提出LongHorizonUI框架，构建LongGUIBench评测基准，推动GUI自动化在复杂场景落地。

大型语言模型处理长对话或复杂任务时，记忆管理靠人工规则，效果有限。阿里巴巴团队新论文提出把记忆管理变为可学习的强化学习策略，AgeMem框架统一长短期记忆管理，经三阶段训练，效果显著。

自 ChatGPT 发布，大语言模型成智能系统核心，AI Agent 兴起。阿里云百炼与容器服务联合发布 AgentScope on 容器服务方案，为智能体应用提供运行底座，介绍了 AgentScope 特性、容器服务能力及部署实践等。

Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。

TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。

快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO，以「熵」为核心，提出梯度保留策略，重新利用裁剪外区间低概率 token 的梯度，实现策略熵的精细调控，解决强化学习中熵不稳定问题。

大语言模型发展下，多智能体系统开发面临诸多难题。阿里通义实验室开源AgentScope 1.0框架，以开发者为核心，有三层解耦架构，模块化设计，还解决安全和管理问题，在工程化特性上优势明显。

Figure机器人学会洗碗，用的是叠毛巾和分包裹同款Helix架构，无新算法和特殊工程，仅增加新数据。该架构是端到端“视觉 - 语言 - 动作”模型，同一系统增数据就能学新技能。

大型语言模型在不同任务中对推理策略需求差异大，策略选择不当会影响效率与可靠性。本文提出双重知识边界框架，梳理LLMs推理模式，将策略选择形式化，还分析了决策因素及策略选择机制。