「预训练数据精炼」共找到 3943 篇相关文章
AI仅凭“自信”学会推理，浙大校友复刻DeepSeek长思维链涌现，强化学习无需外部奖励信号
UC Berkeley团队提出新训练方法Intuitor，大模型无需接触真实答案，仅优化自身信心就能学会复杂推理。该方法无需外部奖励信号或标注数据，用模型自身置信程度作内在奖励信号，在多任务表现良好。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间
Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。
GPT-5被批过度炒作、性能落后，OpenAI联创揭秘其中原因：我们把它关在 “象牙塔”，和现实世界接触不够
OpenAI 发布 GPT - 5 进军企业市场，虽发布不顺利，但部分初创公司和企业客户反馈其在复杂任务表现出色、价格低廉。OpenAI 联创 Greg Brockman 揭秘 GPT - 5，称其代表‘几乎难以形容的智能’，是科研好伙伴，还探讨算力、模型训练等问题。
7.5K Star！HKUDS开源AI全栈开发框架，产品经理的Demo神器！
AI时代从论文到产品Demo开发全链路工作耗时费力，现有Agent也有诸多问题。香港大学数据科学实验室（HKUDS）开发的DeepCode开源框架，定位“全自动AI软件开发框架”，可一键从论文/需求生成完整项目，已获7.5K Star。
斯坦福洗碗机器人新作！灵巧手跟人学采茶做早餐，CoRL 2025提名最佳论文
斯坦福等机构提出DexUMI框架，利用人手将操作技能迁移至灵巧手。该框架通过软硬件创新缩小人手与灵巧手具身差异，在两款灵巧手硬件平台验证，平均任务成功率达86%，数据采集效率提升3.2倍，被CoRL 2025提名最佳论文。
世界模型迎来因果升级：CD-LAM仅用几千步微调即可显著增强动作控制
Aether AI与加州大学圣地亚哥分校研究发现现有世界模型会无视动作控制信号，根源是隐动作模型受视觉混杂因素污染。团队提出CD - LAM，从上游净化隐动作表征，实验显示其能降动作误差、提画面质量，降低后训练开销。
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
云计算一哥，给 Agentic AI 工程做“减法”
2025 年亚马逊云科技 re:Invent 大会聚焦 Agent，其首席执行官提出未来各领域将运行数十亿 Agent。该公司欲在 Agentic AI 上重构，推出系列工具，如 Amazon Strands Agents SDK、Amazon Bedrock AgentCore 等，还在模型训练和工程化方面做减法。
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。