搜索：大模型预训练

「大模型预训练」共找到 9479 篇相关文章

均值至上假繁荣！北大新作专挑难题，逼出AI模型真本事

当强化学习成大模型后训练核心工具，主流方法陷入「均值优化陷阱」，推理能力停滞。北大团队提出RiskPO，将风险规避理念融入优化目标，用MVaR+捆绑策略双管齐下，三大任务表现优异。

阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。

极佳视界推出GigaBrain-0.5M*VLA大模型，以世界模型条件驱动，引入人在回路持续学习机制。在与主流方法对比中，任务成功率提升30%，长时程任务近100%成功，还具备高效准确的价值预测能力。

文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。

招商局狮子山人工智能实验室团队用RLVR让模型“自学”，构建L0系统，含NB - Agent框架和端到端强化学习训练流程，开源相关内容。测试显示L0显著提升模型性能，展现强大泛化能力。

向来低调的小红书昨日开源首个自研大模型 dots.llm1，它是中等规模的 MoE 模型，在较小激活量下性能良好。其开源力度堪称行业最大，还介绍了数据处理、训练优化等多方面技术细节。

Claude出现大危机，AI工程师带头呼吁退订，列9大罪状，如高峰时段偷换缩水模型等。不少用户退订，转投OpenAI Codex，其使用量激增。这也让国产模型等获更多尝试，CLI AI编程模式受重视。

Amazon新论文揭示大模型做多选题有3种系统性偏差，如选择、数量、猜测偏差。还推出SATA - Bench评测，给出10个测量指标，提出Choice Funnel解码策略，能提升小模型多选题正确率。

阿里巴巴开源超强AI Agent模型Qwen3 - Coder - 480B - A35B - Instruct，测试分数媲美Claude Sonnet 4，超越DeepSeek。它参数多、支持大上下文窗口，训练数据优质，还进行代码强化学习扩展训练等，有对应命令行工具。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合多学科知识，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，还支撑构建了多智能体系统。