「预训练策略」共找到 2842 篇相关文章
Karpathy：我不是要造新词，是「上下文工程」对 Agent 来说太重要了
Andrej Karpathy 认同Shopify CEO关于「上下文工程」的观点。它指为大语言模型提供恰当信息和工具，比提示词工程更重要。文章介绍其概念、与提示词工程区别，及写入、筛选等落地策略。
Adaptive Reasoning Model：Qwen3混合思考->字节AdaCoT->清华AdaThinking
文章介绍三种处理混合思考模式的方法，阿里 Qwen3 通过 SFT 让模型具备思考能力，但需人为控制；字节 AdaCoT 和清华 AdaThinking 让模型自主决定是否思考，分别用多目标优化和受限优化目标训练。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
冲159K星 OpenClaw工具链，正在悄悄改变Agent玩法
Clawdbot更名openclaw后在github星冲到159K。它能让AI深入工作流且保数据隐私，有集成渠道多、工具齐全、有状态会话与持久记忆、路由策略适配不同模型等核心能力，并在多方面优于常见AI工具。
GEO中，llms.txt是个啥？
GEO中llms.txt是新兴网络标准提案，分提案A（访问控制）和提案B（推理指导）。提案A类似robots.txt，控制内容用于模型训练；提案B是Markdown文件，助LLM理解网站。作者整理指南分享，盼业内出标准。
竞赛编程Agent进入全球前十！南大、清华新模型CF rating超3500
大语言模型在竞赛编程场景易失败。南大、清华等研究者提出Solvita框架，由四个角色形成闭环，构建可训练图结构知识网络积累经验。实验显示其在多评测中表现强，提升不靠增加token。
Meta正炼化老板：24小时不间断工作，扎克伯格真成机器人了
《金融时报》爆料，扎克伯格正将自己炼成“代理CEO”扎克bot，由其影像和语音数据训练，本人也参与其中。超级智能实验室攻克相关技术难题，Meta还开发“CEO Agent”，但项目上线或面临问题。
agent未来落地的收敛形态
当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。
Anthropic的疯狂一周：每天一个新产品，我已经跟不上了
4月4 - 9日，Anthropic动作不断，先封杀第三方Agent用Claude订阅额度，又发布Claude Mythos Preview、Claude Managed Agents和Advisor Tool。其Agent产品线分三层，还展现“不发布”策略，背后是控制生态的商业考量。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。