「强化预训练」共找到 2553 篇相关文章
The Batch: 896 | 教会模型说出真相
大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
机器人学会「眼看手摸」！FreeTacMan 实现人类指尖亲自「授课」
OpenDriveLab提出的FreeTacMan，将人类视觉、触觉和动作技能高效传输给机器，破解精细操作难题。它配备高分辨率触觉“皮肤”，实现人类“手把手”教机器人“感知”，还通过融合时间感知的触觉预训练，提升机器人策略性能。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢，介绍其数据体系、清洗流程及四阶段强化训练方法。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
AGI倒计时，OpenAI首席研究官重磅表态：留给人类的窗口「很小」
OpenAI首席研究官Mark Chen称AGI即将到来，模型能自主研究。他反对‘预训练已死’，认为Scaling曲线未到头。还提出‘Vibe Researcher’概念，不过通往AGI有评测和持续学习等问题待解决。
告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求
蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法，通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段，支持流式偏好推断，实验表现优异，是大模型个性化新尝试。
集成20+先进算法，优于GPT-4o，自主因果分析智能体来了
加利福尼亚大学圣迭戈分校研究团队提出自主因果分析智能体 Causal - Copilot，集成超 20 种算法。它解决因果分析使用门槛高、预训练模型有局限等问题，性能优于 GPT - 4o ，已开源邀全球研究者参与。