「大模型预训练」共找到 9479 篇相关文章
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
ACL 2025 | 清华&港中文提出 MorphMark：全新理论视角破解大模型水印效力与文本质量的两难困境
随着大模型广泛应用，AI 生成内容追溯和版权保护成问题，现有水印技术面临效力与文本质量的矛盾。清华和港中文团队提出 MorphMark 自适应水印框架，动态调强度，在多模型实验中表现优。
大模型低价趋势延续！智象未来姚霆：B端、C端界限模糊，API不够、逼出 “按结果付费”
InfoQ 采访智象未来联合创始人姚霆，探讨多模态大模型发展。他指出深度 Scaling up 收益放缓，广度 Scaling up 有惊喜；2025 年模型价格战倒逼厂商加速，低价趋势 2026 年将延续，商业模式转向“按结果付费”。
用得越多、失业越快？GitHub 大改 Copilot 规则：默认拿个人代码训练 AI，还搬出 Anthropic 挡枪！
当地时间3月26日，GitHub宣布自4月24日起，Copilot Free、Pro和Pro+用户交互数据默认用于训练改进AI模型，但用户可手动退出。它称此举因模型需更多数据，还拿微软等挡枪，却遭开发者吐槽。
LLM后训练太烧钱？清华&腾讯有了破解法门：关键是得会Rollout
大模型强化学习后训练中，rollout预算易成瓶颈，且并非所有rollout都有用。清华和腾讯研究者提出TRACE框架，将Agent轨迹视为树，分配预算给易产生“成功/失败对比”的节点，实验显示其效果良好。
直面LeCun愿景，智在无界发布最强具身世界模型，20万小时人类视频屠榜6大榜单
智在无界作为人类视频学习路线开创者，4月14日发布第三代旗舰模型Being - H0.7，用20万小时人类视频训练，提出新范式，在6项权威评测中综合排名全球第一，拓展了世界模型能力边界。
给大模型「持续注入新知识」，北航CASE框架：编辑千次不失忆，额外参数不到1MB丨WWW'26
北航团队提出CASE框架解决大语言模型持续吸收新知识难题。该框架给编辑“算分”、调“关键神经元”，破解核心痛点。实验显示，1000次编辑后准确率提升近10%，额外参数不到1MB。
RL 将如何提高具身大模型 VLA 泛化性？清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异
清华大学团队在NeurIPS 2025发表文章，揭示强化学习（RL）提升具身大模型VLA泛化能力的优势，对比其与SFT差异，还提出评测基准和训练方法，为VLA训练提供新方向。
GitHub 23.6k star 的 BMAD Method：如何把大模型系统提示词，变成一支“可复制的 AI 开发团队”？
BMAD Method是开源的AI驱动敏捷开发方法论与工具集，基于BMAD Core框架，有19个专业AI角色和50+条工作流，获23.6k颗GitHub Star。它解决了大模型使用痛点，将AI开发工程化，可在多工具复用。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。