搜索：预训练数据精炼

「预训练数据精炼」共找到 3915 篇相关文章

互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了

前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。

从Hugging Face模型配置文件可知，月之暗面未设计全新模型结构，而是选Deepseek V3作基座模型，用自身高质量数据、独特方法做大量‘微调’和‘后训练’。

文章展示grok 4核心数据，涵盖训练成本、模型定价，还列举其在通用、专业、数学、推理、编程等能力测试中排名第一的成绩，不过实际水平还有待观察。

本文综述人工智能赋能计算力学框架发展与现状，指出纯数据驱动、物理信息神经网络和算子学习方法虽有潜力，但在鲁棒性等方面有挑战。阐述四个研究方向，为复杂物理系统建模等开辟新途径。

匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。

本文讲述90后姚班博导吴翼的经历。他曾在OpenAI参与多智能体研究，回国后投身学术与创业，打造国内首个开源Agent训练框架AReaL。他分享在OpenAI的经验，探讨创业、技术发展等问题。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。

上交博士 Kun Lei 博客提出用两个问题理解强化学习：数据从哪来、策略更新多频繁。借此梳理算法逻辑，还延伸到机器人基础模型，指出训练节奏与其实践契合。

华尔街日报消息，Reddit起诉大模型平台Anthropic，指控其非法访问网站10万次，用用户数据训练AI。Reddit称已和OpenAI、谷歌达成合规合作，此次起诉为求赔偿并让Anthropic履约。

今年5月Meta给工程师划红线，限制用Claude Code和Codex，因其太好用。Meta组建团队自研编程助手MetaCode，担心外部模型输出渗进训练数据，出现“蒸馏陷阱”，且能省钱。