「预训练框架」共找到 3463 篇相关文章
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG已成大模型落地标配技术，但存在搜到对的文档、模型答案却离谱的痛点。德国萨尔大学等组成的团队诊断出问题在阅读理解，提出Disco - RAG框架，在“搜”和“答”间加“读懂”环节，已被ACL 2026主会录用。
100美元、仅8000行代码，复现ChatGPT，Karpathy：这是我写过的最疯狂的项目
特斯拉前AI总监Andrej Karpathy发布全新开源项目「nanochat」，是极简且完整的「从零构建ChatGPT」训练框架。不到12小时GitHub星标破4.2k。约8000行代码，花100美元、4小时就能训练出专属「小ChatGPT」。
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。
一年从3B卷到0.xB：MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代，MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责，采用互补预训练目标，还开源训练数据，且迁移到多任务表现良好。
大道至简，何恺明团队新作pMF开启像素级「无潜、单步」生成范式
何恺明团队新论文提出用于单步、无潜空间图像生成的pMF框架，直指主流扩散与流匹配模型通病。该框架将v、u和x三个场关联，训练网络把噪声输入直接映射为图像像素，实验表现强劲。
字节Seed团队发布Seed1.5-VL，用仅20B活跃参数在60个主流测试中狂揽38项第一！
字节Seed团队发布Seed1.5-VL，仅200亿活跃参数就在60个主流测试中获38项第一。介绍其架构、预训练、后训练等情况，评估表现出色，虽处理复杂场景有局限，但仍在多模态任务取得显著进展。
数据合成篇｜多轮ToolUse数据合成打造更可靠的AI导购助手
文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。
CVPR 25 |全面提升视觉感知鲁棒性，生成模型快速赋能三维检测
香港中文大学（深圳）等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法，无需额外训练生成模型，通过两阶段策略扩展训练数据，提升三维检测模型鲁棒性，代码已开源。
清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能
清华团队用两个 1.5B 模型证明，用最基础的 RL 配方可达到小模型数学推理能力 SOTA。单阶段训练加固定超参数实现 SOTA 性能且省一半算力，训练曲线还很平滑。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。