「预训练数据精炼」共找到 3915 篇相关文章
RL Infra 行业全景：环境和 RLaaS 如何加速 RL 的 GPT-3 时刻
文章指出RL Scaling正推动AI从“人类数据时代”迈向“Agent体验时代”，RL Infra可弥合模拟与现实差距。梳理了RL环境、RLaaS、数据/评估三大模块，分析代表公司案例，探讨RL未来趋势与投资策略。
为什么大模型会产生幻觉？OpenAI最新研究终于搞清楚了
OpenAI发布研究论文剖析LLM幻觉根源，指出当前主流训练与评估体系是核心驱动因素之一。现行评估奖励猜测行为，幻觉起源于预训练的‘下一词预测’，论文还澄清五大误区，建议改革评估体系。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
Pulsar特性在AI场景中的使用
随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。
The Batch: 839 | 好莱坞加入 AI 版权之争
好莱坞电影公司加入对用其版权作品训练AI模型公司的抗争。迪士尼和环球起诉Midjourney，指控其未经授权用版权作品训练模型、分发含其角色图像，请求停侵权并索赔，版权法相关界定尚不明确。
MIT新研究：大模型加噪声就能替代GRPO/PPO调参
MIT新论文提出，预训练模型周围存在大量“专家模型”，只需添加高斯噪声并集成，性能就能比肩甚至超越GRPO/PPO等调参算法。由此启发了RandOpt算法，经测试准确率不错，但也有依赖预训练等缺点。
Grok 4基准测试被爆极其优异，人类终极考试成绩飙升到45%，碾压o3 和Gemini的20%
API开发者曝光Grok - 4和Grok - 4 Code测试成绩，HLE达35%，推理后飙升到45%，远超o3和Gemini的20%。其他测试也表现优异，但成绩引发争议，有人质疑数据污染，也有人支持，目前数据未官方证实。
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
大模型落地需强大算力集群支撑，构建万卡级算力集群是顶尖挑战。华为昇腾万卡算力集群近乎‘永不罢工’，其公开技术秘密，提出‘3+3’双维度技术体系，多项指标表现优异。
“VLA和世界模型都不是终局，会有物理世界独有的模型” | 蚂蚁灵波沈宇军@AIGC2026
在2026中国AIGC产业峰会，蚂蚁灵波沈宇军与李根深度对话。沈宇军指出大模型踩中互联网数据红利，但机器人数据空白。他认为VLA和世界模型非具身智能终局，未来会有物理世界独有的模型。
极佳科技朱政：世界模型会进化成 VLA 的下一代｜具身先锋十人谈
具身智能领域数据难题待解，极佳科技朱政投身世界模型研究。他认为世界模型短期内是‘驯化’VLA的容器，长期或与VLA融合。其团队成果显著，还将探索多维度建模与数据配比优化。