「持续预训练」共找到 2559 篇相关文章
VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法，在多模型、剪枝策略及基准上验证有效，为多模态模型部署提供新思路。
只用国产GPU训练的大模型性能飙升100%！国内唯一，更懂你
科大讯飞发布全国产算力训练的讯飞星火X1.5，推理效率暴涨100%，综合性能跻身全球顶级。还首发非自回归语音大模型架构，效果提升、成本降低。此外，展示多领域应用成果，发布相关产品，开源智能体平台。
当 Agent 开始接管工作流，企业最在意的三件事：安全运行、稳定交付、持续进化
Agentic AI 开发落地使基础设施问题凸显。AI 产业转向重视模型部署等，CPU 受关注，云计算角色转变，容器重要性凸显。Agent 应用规模化落地，AI 负载变化，Agent Infra 要解决四个问题，云和 CPU 任务也在改变。
翁荔陈丹琦加盟的840亿AI公司，公开第二篇论文
明星创业公司Thinking Machines公开第二篇研究论文，主题为“Modular Manifolds”，通过统一框架约束和优化网络不同层/模块，提升训练稳定性与效率。论文提出模块化流形思路，若应用于大模型，训练效率和稳定性将大幅提升。
Qwen-Scope：看穿大模型的“小心思”
Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块，通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型，应用于推理、数据、训练、评估等场景，可前往Huggingface或魔搭体验。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
AI真的能读懂人心吗？阿里通义最新研究成果揭示答案
文章聚焦多模态推理问题，如全局上下文理解不足和推理捷径问题。介绍阿里通义HumanOmniV2改进方案，涵盖全局上下文理解等方面，还详述冷启动、两阶段强化学习训练方案及数据集下载和训练方法。
The Batch: 968 | Muse Code 想获取你的数据
Meta推出Muse Code编码框架及Muse Spark 1.2模型，有不同输入输出、功能和性能表现。提供不同档位价格，贡献者档位低价但数据用于训练。测试显示其单任务成本低，Meta此举或为获取编码训练数据。
LeCun点赞：国产开源模型占领硅谷，性价比超10倍
硅谷被中国开源模型占领，Cursor、Cognition等公司模型被曝套壳或基于中国开源模型后训练。巨头如Meta也用Qwen做训练，爱彼迎等青睐Qwen。因性价比高，中国开源模型在硅谷走红。
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。