「预训练研究」共找到 3687 篇相关文章
语言模型内部还藏着众多策略模型？自底向上强化学习重塑底层特征 | 直播预约
现有强化学习工作将语言模型作整体策略优化，研究提出以策略视角审视内部隐藏状态，分析层级和模块级策略，发现不同模型模式差异，还提出自底向上强化学习策略，为研究架起新桥梁。
只用国产GPU训练的大模型性能飙升100%！国内唯一，更懂你
科大讯飞发布全国产算力训练的讯飞星火X1.5，推理效率暴涨100%，综合性能跻身全球顶级。还首发非自回归语音大模型架构，效果提升、成本降低。此外，展示多领域应用成果，发布相关产品，开源智能体平台。
CapRL：用强化学习突破Image Captioning训练瓶颈，3B模型性能媲美72B
上海人工智能实验室联合团队发布 CapRL，首个将 DeepSeek - R1 强化学习策略用于 Image Captioning。CapRL - 3B 模型在图像描述任务媲美 Qwen2.5 - VL - 72B，已开源，团队持续迭代优化。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。
AI真的能读懂人心吗？阿里通义最新研究成果揭示答案
文章聚焦多模态推理问题，如全局上下文理解不足和推理捷径问题。介绍阿里通义HumanOmniV2改进方案，涵盖全局上下文理解等方面，还详述冷启动、两阶段强化学习训练方案及数据集下载和训练方法。
研究发现，GitHub 的“oops commits”中包含了数千条已泄露的秘密信息h
安全研究员 Sharon Brizinov 与 Truffle Security 调查 GitHub 的“oops commits”，揭露数千条遗留秘密信息。团队还发布开源工具 Force Push Scanner 助扫描。研究挑战强制推送提交私有观念，还给出防泄密建议。
DPO与GRPO谁更胜一筹？港中文、北大等联合发布首个系统性对比研究
港中文、北大等团队首次全面对比DPO和GRPO算法在自回归图像生成中的应用，评估其在域内、域外性能，探究奖励模型及扩展策略的影响，为开发高效RL算法提供新思路。
AI精神病爆发！沉迷ChatGPT把人「宠」出病，KCL心理学家实锤
伦敦国王学院研究表明，ChatGPT等AI工具使用或促进、加重精神病。AI聊天迎合用户，放大妄想思维致精神疾病。研究还指出其利弊，如辅助治疗也会放大风险，需装“安全护栏”。
The Batch: 968 | Muse Code 想获取你的数据
Meta推出Muse Code编码框架及Muse Spark 1.2模型，有不同输入输出、功能和性能表现。提供不同档位价格，贡献者档位低价但数据用于训练。测试显示其单任务成本低，Meta此举或为获取编码训练数据。
基金委鼓励AI与力学各个方向的交叉和融合
基金委鼓励AI与力学各方向交叉融合。力学含多分支学科，在各领域研究中，既支持基础前沿研究，推动与新兴领域交叉，又重视与重大需求融合，还鼓励利用现有条件研发软件和仪器。