「预训练数据精炼」共找到 3939 篇相关文章
Anthropic 兄妹 Dario Amodei 和 Daniela Amodei 最新对话：Claude 为什么一直限速？
在 5 月 6 日 Anthropic 开发者大会上，兄妹 Dario Amodei 和 Daniela Amodei 对话，谈到 Claude 限速因 2026 年 Q1 增速年化 80 倍远超规划，还涉及开发者生态、模型训练、能力释放等话题，强调平衡发展与安全。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
告别「手搓Prompt」，前美团高管创业，要让物理世界直接成为AI提示词
在2025年AI硬件赛道火热背景下，Looki创始人孙洋团队打造Looki L1可穿戴设备，将自动驾驶逻辑用于生活场景，转化视听信号为模型上下文，构建用户专属数据飞轮，让AI实现主动共鸣。
一边秀肌肉，一边设围墙，NVIDIA 发布 OmniVinci，性能碾压 Qwen2.5-Omni，却被骂“假开源”
NVIDIA 推出多模态大模型 OmniVinci，结合架构创新与合成数据流水线，训练 token 仅为 Qwen2.5 - Omni 的六分之一，却在多项基准测试表现更佳。但采用限制商业用途的许可证，引发“假开源”争议。
NeurIPS 2025 Spotlight | 条件表征学习：一步对齐表征与准则
文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。
SceneGen: 单图像驱动的多资产3D 场景生成
上海交通大学提出SceneGen框架，可从单张场景图像及其对应目标掩码中，同时生成带有几何结构与纹理的多个3D资产。它一次前向传播即可完成生成，在效率与稳健性上优于现有方法，虽有局限但应用潜力大。
从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型，Sebastian Raschka 发布博客对其详细分析，回顾自 GPT - 2 以来 AI 社区进步，还与 Qwen 3 比较，介绍架构、训练、推理等细节。
深入剖析AI公司正在面临的：「囚徒困境」
文章指出AI模型训练成本虽下降，但运营成本尤其是推理费用飙升，使AI公司陷入两难。用户只青睐最强模型，且模型资源消耗远超预期，订阅模式难以为继，还给出了避免亏损的三条出路。
Token成本下降，订阅费却飞涨，AI公司怎么了？
文章指出，虽模型训练成本下降，但 AI 公司运营成本尤其是推理费用猛增。以固定费率订阅和高 token 消耗的商业模式的公司面临困境，如 Windsurf、Claude Code 等，还给出避免亏损的三条出路。