搜索：合成引导预训练

「合成引导预训练」共找到 2321 篇相关文章

吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方

AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。

新一年秋招季，岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS，博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程，助零基础者上手，还介绍环境搭建、代码和训练前后效果对比。

田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。

Anthropic等联合研究打破传统观念，只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门，且与模型规模及训练数据量无关。研究还测试了特定后门攻击，评估了多种训练配置。

蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。

LeCun亲自出镜介绍V-JEPA 2新进展，目标是开发改变AI与物理世界交互的世界模型。V-JEPA 2基于视频训练，有两阶段训练细节，能用于机器人规划，Meta还发布三个基准测试，后续将研究分层和多模态JEPA模型。

蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。

IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。

星海图CEO高继扬在AGI Playground大会分享具身智能观点，认为2026年是下半场，核心是应用。具身智能发展慢因缺高质量数据和合适本体，未来产品形态或为‘整机+预训练模型+后训练工具’，下游将形成大生态。

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。