「预训练策略」共找到 2842 篇相关文章
结构化扩展拿下Agent工具检索新SOTA，精准找到API｜ICLR'26
宁波东方理工大学沈晓宇团队在ICLR 2026发表论文，指出当前工具检索瓶颈在于工具文档。提出对文档结构化扩展，再训练模型的方案，构建TOOL - REX等组件，实验显示显著提升检索性能。
告别Reasoning模型的“灵光一现”，推理能力可控了
当前GPT - 4o、DeepSeek - R1等大模型推理的‘高级操作’随机触发，不可控。研究者受经典推理三要素启发，教会模型三种‘元能力’，经三阶段训练，模型效果提升，让推理能力可控。
刚刚，北京建了一座AI工厂：目标10万P算力，日产10万亿Token！
九章云极在2026全球智算科技峰会发布AI工厂战略，含训练和Token工厂，目标10万P算力、日产10万亿Token。用DCU度量投入，Token度量产出，重构智能生产与交付体系，适配不同企业需求。
阿里批准林俊旸离职，CTO周靖人接管千问！Gemini周浩确定加盟
阿里巴巴CEO吴泳铭批准林俊旸辞职，周靖人接管千问。此次人事变动突然，引发诸多猜测。阿里高层称是为扩充团队、投入资源。Gemini 3.0核心贡献者周浩据传将主导千问后训练。
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。
AI“氛围编程”威胁开源，维护者面临危机
开源维护者正加速关闭外部贡献，因AI生成贡献量大质低。研究显示“氛围编程”会造成负反馈循环，降低软件可用性和质量。平台激励加剧问题，虽有应对策略但效果不佳。
ACL 2025预定爆款！HyperGraphRAG横扫5大领域，检索效率提升7倍
文章聚焦HyperGraphRAG模型，介绍其架构由知识超图构建、超图检索策略、超图引导的生成机制组成，阐述构建步骤，该模型能提升检索效率，或成ACL 2025爆款。
GPT-5 最强大的，是编程
据报道，OpenAI的GPT - 5即将到来且早期反馈积极。它在编程领域表现突出，尤其在实际编程任务上有提升，不过其具体形式存疑，改进或多来自后训练阶段的强化学习。
OpenAI公告正经解释：为什么GPT-5.5爱说“哥布林”
OpenAI官网发公告回应GPT-5.5爱说“哥布林”问题。原来是对“书呆子”人格训练时，无意中对使用生物比喻的模型给予高奖励，导致“哥布林”表述扩散。之后移除相关奖励和过滤数据来解决。