「预填充阶段」共找到 1013 篇相关文章
2.1K星CCPM：多Agent任务，流水线一样并行Coding
CCPM基于GitHub Issues + Git worktrees，有严格五阶段流程。多agent负责同一issue不同子任务，实现任务级并行，最高提升3倍交付速度，75%降低Bug率，还能避免上下文丢失等问题，有详细工作流程和命令。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
上海交大和上海AI Lab联合团队提出IDEAL方法，可提升LLM综合性能。研究发现SFT阶段数据数量非关键，配比不当会加剧模型“偏科”。以Llama3.1 8B测试，IDEAL能提升代码能力，还指导了超参数选取。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。
跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述
大语言模型工程成功但理论研究滞后，被视为「黑盒」。人大刘勇团队用生命周期分类法，将LLM理论研究整合为六阶段，系统综述底层理论与机制，指出前沿挑战，为其向严谨科学转型提供路线图。
从补全到 Agentic Edit：Trae 在代码编辑上的落地与进化
AI 编程助手走向智能化，Trae 团队历经“补全 + Chat → Apply → Builder + Cue”三阶段，解决文件定位、跨文件修改等难题，介绍 Apply 与 Search/Replace 方案适用场景，还将从三方面继续探索。
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
LLM学习笔记：最好的学习方法是带着问题去寻找答案
文章总结拓展Andrej Karpathy教学视频，分析大模型聊天流程与原理，介绍LLM训练步骤，包括预训练、后训练和强化学习，还提及主流特性应用，如文件上传、网络搜索，强调带问题学习的重要性。
后训练中的RL已死？MIT新算法挑战传统后训练思维，谢赛宁转发
MIT研究人员提出RandOpt新算法，挑战传统后训练思维。该算法通过随机扰动和集成突破限制，在多任务中表现出色，揭示了预训练模型权重空间的“神经丛林”现象，引发AI社区关注。
动态RAG新工作：效果爆了，代码已开源
大语言模型幻觉问题突出，现有动态RAG方法信号不可靠。QuCo-RAG从预训练语料库挖掘统计证据，用客观频率替代主观置信度，实现毫秒级幻觉检测与动态检索触发，代码已开源。