「pre - training」共找到 56 篇相关文章
EMNLP2025 | 揭开LLM训练数据中的中文污染真相，有比“您好”高2.6倍的token？
近年来，大型语言模型虽成功，但训练数据易混入不良内容。论文《Speculating LLMs' Chinese Training Data Pollution from Their Tokens》探索此问题，定义PoC Token，开发PoCDetect和PoCTrace工具，揭示LLMs训练数据污染情况。
BAI、高瓴领投，ThetaWave李文轩：我们想成为下一代年轻人默认的知识获取入口
AI-Native知识内容平台ThetaWave AI获数百万美金Pre - A轮融资，创始人李文轩分享创业历程、产品方向、获客与本地化策略等，还谈及产品功能、竞争优势及未来愿景，想成新一代内容平台。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
Meta为他豪掷2亿美元，上交校友庞若鸣，晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta，Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》，介绍了AXLearn系统优势、架构、实验评估等。
独家 | 破壳机器人完成亿美元级融资：「操作」才是具身落地的最大挑战
AI科技评论获悉，通用具身智能公司破壳机器人完成亿美元级Pre - A轮融资。其聚焦机器人操作能力，采用“WAM×RL×DATA”飞轮体系实现快速迭代，还推进软硬件联合研发探索具身落地。
跳过88%专家，保住97%性能！MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模，MoE架构虽降低计算开销，但推理成本仍高。香港科技大学等团队提出MoDES，它是training - free动态专家跳过框架，能跳过88%专家还保留97%性能，推理速度提升2倍。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
视频生成1.3B碾压14B、图像生成直逼GPT-4o！港科&快手开源测试时扩展新范式
香港科技大学联合快手可灵团队推出 EvoSearch 方法，支持图像和视频生成。该方法无需训练和梯度更新，能提升模型生成质量，展现了 test - time scaling 补充 training - time scaling 的潜力，目前论文和代码已开源。
一年三轮数亿融资！AI新材料研发企业鼎犀智创跑出加速度｜甲子光年
AI新材料研发公司鼎犀智创近日完成数亿元Pre - A轮融资，是一年内第三轮。其以「RhinoAI智能研发平台」为核心构建研发闭环，推动材料研发从「经验试错」到「智能设计」，还与产业龙头合作，成果显著。