「预训练策略」共找到 2842 篇相关文章
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
Cloudflare 通过左移安全实践扩展基础设施即代码
Cloudflare实施基础设施即代码和自动化策略执行，将安全验证前置，消除手动配置错误，在部署前捕捉安全违规。该方案以Terraform等为核心，还解决了采用难题、配置漂移等问题。
解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law
自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
1.8K Star！又挖到一款超酷的 Claude Cowork 开源平替，而且比 Cowork 更快更省！
Anthropic 发布 Claude 的 Cowork 能力后成热门，但高额费用和封闭策略让普通人却步。现推荐开源替代方案 OpenWork，它免费开源，速度快、省 Token，还引入安全隔离机制，功能丰富。
桌面 Agent 的下一步：不是会操作，而是会调度工具
复旦大学和通义实验室提出 ToolCUA，让模型在 GUI 与工具调用间编排路径。它从已有 GUI 轨迹合成训练数据，设计奖励机制，在 OSWorld - MCP 评测中效率与准确率大幅提升，为 CUA 发展提供方向。
盘一下Anthropic 244页Claude Mythos报告中隐藏的SAE技术
Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。
字节开源了一个让人上头的 Context 项目
字节开源 MineContext 项目，是其“三步走”开源策略首步。它能自动收集屏幕上下文、生成日报待办等，还可深度分析。其理念为主动洞察、无负担收集，未来 OpenContext 开源后开发者可搭建应用。
Sutton 的批评与反思：AGI 的下一步是什么？
文章是对 Richard Sutton 采访的反思，指出 LLM 训练效率低、依赖人类数据，未实现有机自主学习。作者与 Sutton 有分歧，认为模仿学习与强化学习互补，还探讨持续学习，称 Sutton 批评有启发性。
21.7K 标星的开源TTS！FishAudio开源情感语音核弹：200万小时炼成“声优AI”！
FishAudio团队推出新一代TTS语音模型OpenAudio S1，基于200万小时音频数据训练，采用Qwen3+Descript Audio Codec架构。它能实现情感表达，在TTS - Arena榜单登顶，还提供不同版本适配，适用场景广泛。