搜索：四段式预训练

「四段式预训练」共找到 2348 篇相关文章

没等VC下场，机器人厂商先投了一家具身数据基础设施公司

2026年以来具身智能热度高，智域基石切入数据基础设施赛道完成融资。其核心管理团队背景多元，设计了五段式数据处理管线，更看重To B场景，目标是成平台型基础设施。

LMArena竞技场发布文生图榜单，腾讯混元图像3.0夺冠，超越谷歌、字节和OpenAI等模型。它是原生多模态模型，语义理解强，核心技术独特，经多阶段训练，效果能与顶尖模型媲美。

复旦大学和通义实验室提出 ToolCUA，让模型在 GUI 与工具调用间编排路径。它从已有 GUI 轨迹合成训练数据，设计奖励机制，在 OSWorld - MCP 评测中效率与准确率大幅提升，为 CUA 发展提供方向。

Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。

文章是对 Richard Sutton 采访的反思，指出 LLM 训练效率低、依赖人类数据，未实现有机自主学习。作者与 Sutton 有分歧，认为模仿学习与强化学习互补，还探讨持续学习，称 Sutton 批评有启发性。

FishAudio团队推出新一代TTS语音模型OpenAudio S1，基于200万小时音频数据训练，采用Qwen3+Descript Audio Codec架构。它能实现情感表达，在TTS - Arena榜单登顶，还提供不同版本适配，适用场景广泛。

在全球AI竞争激烈背景下，科大讯飞与华为昇腾深度合作意义重大。双方合作历经四阶段，实现性能提升与技术突破，还通过软硬件协同构建AI自主发展竞争力，加速大模型行业落地。

2025年5月6日，智源研究院在全球开源创新论坛发布中英文高质量数据集CCI 4.0，同步在多平台开源。CCI 4.0规模大，处理严格，此前CCI系列反响好，未来将持续建设中文预训练语料库。

外媒披露Anthropic年化营收达300亿美元，超越OpenAI的240亿。Anthropic由OpenAI前员工创立，15个月营收翻30倍，训练成本仅为对手四分之一。其80%收入来自企业端，而OpenAI陷入‘增收不增利’怪圈，内部也矛盾重重。

哈工大提出75页多模态推理大模型综述，围绕四阶段发展路线图展开，即感知驱动的模块化推理、以语言为中心的短推理、以语言为中心的长推理、迈向原生多模态推理模型，还给出挑战性基准测试和实验案例见解。