搜索：预训练语言模型

「预训练语言模型」共找到 8351 篇相关文章

阿里巴巴新论文：让LLM学会管理记忆，告别人工规则

大型语言模型处理长对话或复杂任务时，记忆管理靠人工规则，效果有限。阿里巴巴团队新论文提出把记忆管理变为可学习的强化学习策略，AgeMem框架统一长短期记忆管理，经三阶段训练，效果显著。

大语言模型发展下，Agent成AI落地主流，但传统开发有痛点。Eino ADK为Go开发者提供智能体开发框架，解决核心难题，还介绍了Agent功能、ADK模式、构建方法及多Agent协作场景等。

超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。

信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。

马斯克宣布自建晶圆厂“Terafab”，目标每年1太瓦算力，还要把数据中心送上天，引发争议。红杉合伙人Shaun Maguire力挺xAI，认为其会赢，还指出马斯克有识别技术拐点的能力，虽错过语言模型转向，但已修正。

文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。

大语言模型（LLM）智能体兴起，记忆机制是核心。本次报告将探讨记忆管理对其性能的影响及潜在风险，展示缓解关键挑战的策略，介绍新攻击范式，揭示安全漏洞，强调需重新审视与建模。

硅谷具身智能玩家为数据发愁，中国灵初智能另辟蹊径，用数据手套采集工人操作数据，成本低且数据泛化性强。其专注物流细分场景，2026年收敛资源做深现有场景，目标推100万小时数据训练模型。

同程旅行研发的“同程伴游”AI助理，能为景区游客答疑解惑，实现原生数字化导览。它可按需讲解、避免走回头路，还能生成数字旅行日记。其基于高精度定位和大语言模型，未来还将持续升级。

传统数据分析方法耦合度高、扩展性差，大语言模型与智能体让数据分析迈向“语义理解”。上交、清华等机构联合撰写综述，回顾演进，提出新范式，总结关键技术、趋势及挑战，推动通用数据分析智能体发展。