「大模型预训练」共找到 9491 篇相关文章
深度机智和他们的另一条路：用人类第一视角数据训练基座模型｜甲子光年
3月27日，深度机智联合推出具身通用智能基座模型系统PhysBrain 1.0，引入人类第一视角数据，解决传统模型问题。其创始人陈凯等坚持用此数据构建模型，突破传统，引领行业新方向，且中国在具身智能领域或借此建立自主技术体系。
蚂蚁武威：下一代「推理」模型范式大猜想
文章围绕下一代「推理」模型范式展开，蚂蚁技术研究院武威提出不同观点，认为长思维链推理未必最优，未来推理模型或更低维稳定，还探讨推理定义、重要性及解法猜想，如结合快慢思考等。
神秘模型屠榜多日、碾压Seedance 2.0！背后竟是阿里大招：新部门首作实锤，引爆股价拉升
近日，神秘模型 HappyHorse-1.0 登顶 Artificial Analysis 视频模型排行榜。阿里巴巴确认其为 ATH-AI 创新事业部自研产品，正在内测，4 月 30 日上线 API。该模型技术亮点多，若开源或改变 AI 视频行业格局。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
苹果拆解AI大脑，推理模型全是「装」的？Bengio兄弟合著
苹果最新研究揭示大推理模型（LRM）在高复杂度任务中普遍‘推理崩溃’。即便给予明确算法提示，模型亦无法稳定执行，暴露推理机制的局限性。研究还通过多种实验环境分析了模型在不同复杂度问题中的表现。
拒绝视频生成，深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
AI在「赚钱锦标赛」夺冠，比人类还会做生意！躺赚时代要来了？
研究人员提出自动售货机运营模拟环境Vending - Bench，测试大模型智能体管理业务能力。实验显示不同大模型性能方差大，Claude 3.5 Sonnet净资产表现最佳，人类基线在可靠性上表现较好，各模型长周期表现波动大。
模型合体！上交&上海AI Lab&华师提出LED-Merging，拒绝「能力」与「安全」二选一
上海人工智能实验室等团队提出LED - Merging解决模型融合“安全 - 效用冲突”问题。该方法无需训练，像“神经元手术刀”，不牺牲专业能力还提升安全性，论文已被ACL 2025 Main Conference接收。