「预训练策略」共找到 2842 篇相关文章
阿里发布Qwen3-TTS：跨语言混合无缝切换，方言音色全面覆盖！
TTS技术从单一合成进化到多模态表达，但传统模型在跨语言/方言混合场景有不足，商业工具费用高且不开源，开源方案训练数据少。阿里推出Qwen3 - TTS，实现人类级自然度和表现力，功能强大，应用场景多。
数学编码超越O3-high，英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。
只要9美元！LoRA+强化学习，DeepSeek 1.5B推理性能暴涨20%
南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
Anthropic员工离职创业，估值10亿美元，也做「递归自我改进」
Anthropic离职员工Behnam Neyshabur和Harsh Mehta创立Mirendil公司，获2亿美元种子轮融资，估值达10亿美元。目标是构建工具平台，让科研团队自主训练AI模型，采用递归自我改进技术。
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
彩讯股份 CEO 白琳：企业级AI正从技术热潮走向系统化落地
1月31日彩讯股份发布《企业级AI应用白皮书》，CEO白琳接受采访。指出企业级AI正从技术驱动转向应用落地，面临系统性挑战，白皮书梳理发展阶段、痛点与路径，还介绍了‘1+1+N’策略等。
大模型推理学习新范式！ExGRPO框架：从盲目刷题到聪明复盘
上海人工智能实验室等团队提出经验管理和学习框架ExGRPO，能科学管理经验。与传统RLVR方法比，它在不同基准提升性能，尤其复杂推理任务，还揭示滚雪球效应，为模型推理训练提供新思路。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
Depth Anything再出新作！浙大&港大出品：零样本，优化任意深度图
浙江大学与港大团队推出「Prior Depth Anything」，融合深度传感器数据与AI深度图，一键补洞、降噪、提分辨率。无需额外训练，可提升3D模型深度质量，零样本刷新多项深度处理纪录。