搜索：多源混合训练

「多源混合训练」共找到 2313 篇相关文章

清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习

Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。

OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。

文章指出AI模型训练成本虽下降，但运营成本尤其是推理费用飙升，使AI公司陷入两难。用户只青睐最强模型，且模型资源消耗远超预期，订阅模式难以为继，还给出了避免亏损的三条出路。

文章指出，虽模型训练成本下降，但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境，如 Windsurf、Claude Code 等，还给出避免亏损的三条出路。

香港中文大学MMLab与美团研究团队开源OneThinker模型，它可覆盖图像与视频十类核心视觉任务，在31项测试中表现出色，还展现泛化能力。研究团队搭建数据集，并引入EMA - GRPO算法提升训练稳定性。

MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。

OpenAI新论文《语言模型为何会产生幻觉？》提出，模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测，在榜单表现不佳，网友质疑论文是为GPT - 5挽尊，论文引发网友多方向讨论。

腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。