「大模型预训练」共找到 9503 篇相关文章
DeepSeek开源新基础模型，但不是V4，而是V3.1-Base
昨晚深度求索宣布DeepSeek线上模型版本升级至V3.1，在Hugging Face发布新模型DeepSeek - V3.1 - Base。该模型是V3系列最新基础模型，发布后冲上Hugging Face热门榜第4位，社交网络看法不一。
35天，版本之子变路人甲：AI榜单太残酷！
LMSYS榜单揭示大模型残酷现实，如Claude 3 Opus从榜首暴跌，大模型“霸主保质期”仅35天，这对应用层开发者是降维打击，未来生存要么做“游击队”，要么挖掘模型无法碾压之物。
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
开源版Genie 3世界模型来了：实时+长时间交互，单卡可跑，国内公司出品
本月初 Google DeepMind 发布 Genie 3 引发关注，没过两周昆仑万维就推出开源交互世界模型 Matrix - Game 2.0，参数量 1.8B，单卡可跑，能实现实时长序列、交互式生成，经测试潜力大。
上下文工程的崛起：提示工程已是过去式
大模型应用从简单问答转向复杂智能体系统，技术焦点正从提示工程转向上下文工程。上下文工程核心是为大模型提供恰当信息与工具，其重要性日益凸显，且与提示词工程有明显区别。
编程智能体的核心组件【译】（重发，补图）
文章围绕编程智能体展开，先厘清大语言模型、推理模型与智能体关系，指出智能体是含‘模型 + 工具 + 记忆 + 环境反馈’的循环系统，后介绍编程智能体六大核心组件，还对比了与 OpenClaw 的区别。
关键突破：理论验证了 RL for LLM 路线的可行性
传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。
快手Klear-Reasoner登顶8B模型榜首，GPPO算法双效强化稳定性与探索能力！
快手Klear团队推出Klear-Reasoner模型，基于Qwen3 - 8B - Base打造，在多基准测试达同规模SOTA。其核心GPPO算法能强化稳定性与探索能力，团队还对训练流程多环节深入分析，给出优化策略。
Scaling Law 仍然成立，企业搜广推怎么做才能少踩“坑”？
InfoQ《极客有约》X AICon 直播栏目邀请京东、荣耀等专家探讨生成式推荐落地洞察。指出搜广推领域 scaling law 仍成立，大模型改变特征工程等，还分享了系统架构、模型应用等方面经验及挑战。
火山引擎 veFuser：面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。