「预填充阶段」共找到 1041 篇相关文章
Anthropic发布「AI原生创业公司」手册：涵盖全流程四大核心阶段，一人公司法典来了
Anthropic发布打造AI原生创业公司手册，针对2026年可能性梳理创业四阶段：想法、MVP、上线和规模化，明确各阶段目标、退出标准、失败模式及AI实操练习，涵盖研究、编码、运营等方面。
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
CompressARC研究中，Mamba作者Albert Gu团队给出不同于大规模预训练的智能配方——最小描述长度（MDL）。一个76K参数、无预训练模型，在ARC - AGI - 1基准解决20%问题，获ARC Prize 2025第三名。
同时监督和强化的单阶段大模型微调，告别“先背书再刷题”，推理泛化双提升｜中科院&美团等
中国科学院自动化研究所联合美团提出单阶段监督 - 强化微调方法 SRFT，结合监督微调与强化微调，解决传统两阶段方法的不足，在多任务中提升推理和泛化能力。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
前OpenAI科学家&GPT之父：预训练精准数据过滤，极低成本削弱大模型危险能力数千倍
Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文，提出预训练时精准“删掉”危险知识碎片，以极低计算成本将大模型特定危险能力削弱数千倍，且不损通用智能。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。