搜索：语言模型训练

「语言模型训练」共找到 8363 篇相关文章

社区供稿丨MiniCPM-V 4.5 技术报告正式出炉

上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。

Meta和UCB开源安全大语言模型Meta - SecAlign - 70B，其对提示词注入攻击鲁棒性超闭源方案，还具更好的agentic ability。介绍了提示词注入攻击背景、防御方法，该模型打破闭源垄断，开源代码助力安全AI建设。

斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。

视觉 - 语言 - 动作（VLA）模型“观测 - 生成 - 执行”串行模式致交互卡顿，清华与联想合作提出StreamingVLA框架，引入两项技术实现并行处理，在测试中显著提升效率和流畅度，为VLA模型部署提供新方案。

翁家翌在播客透露，起初推出ChatGPT是为收集用户数据，预期5天后关闭。他是OpenAI多代大模型发布贡献者，还分享了OpenAI内部情况，如模型训练、迭代速度等问题，也谈及自身经历和对AGI看法。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。

大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。

具身智能进入数据scaling时代，VLA模型训练中数据并非越多越好。上海交大同济等校团队提出ATHENA框架，将影响函数扩展到十亿参数VLA模型，解决计算和筛选难题，实现313倍加速，实验证明其用更少数据获更好效果。

本周五，Anthropic 技术团队成员 Thariq Shihipar 介绍新一代大语言模型工程趋势变化。Anthropic 发现旧提示词工程范式在新一代强推理模型发布后或过时，新的 Claude.md 应精简，大砍系统提示词后可把特定任务上下文交给 Skill。