「预训练数据」共找到 3960 篇相关文章
EAAI | 香港理工大学王旭等：一种增强MFNN的多源气动数据重构方法
飞行器气动压力分布获取依赖风洞试验或数值模拟，多源数据差异为气动数据重构带来挑战。本研究提出增强型多保真神经网络，通过差分运算提升模型泛化精度，在跨声速压力分布重构中效果显著。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
备受Meta折磨，LeCun依旧猛发论文！新作：JEPAs不只学特征，还能精准感知数据密度
备受Meta审核规定“折磨”，LeCun仍发新论文。其团队发现自监督模型JEPAs学会了数据“密度”，打破学界以往认知。还提出JEPA - SCORE工具，经多组实验验证其效果。
传言：中国AI 公司人肉运硬盘到马来西亚训练模型，美国芯片禁令形同虚设？
《华尔街日报》传言中国AI公司工程师人肉运硬盘到马来西亚训练模型。美国芯片禁令下，中国公司难进口先进硬件，采用复杂方式规避。任正非和黄仁勋都认为可集群补单芯片性能，美国制裁效果堪忧。
谷歌分布式训练开启另一轮扩展定律！百万芯片高压高故障仍然零全局停机
谷歌Decoupled DiLoCo研究打破大模型训练锁步模式，让集群各部分异步汇合。模拟数百万芯片高压训练时零全局停机、性能无损，还能提升系统有效工作时间，有算力撷取和异构计算等红利。
1人顶1个Infra团队！OpenAI前CTO新招，让大模型训练跌成白菜价
大模型训练正从‘作坊炼丹’进化为‘工业微调’。OpenAI前CTO创立的Thinking Machines Lab推出Tinker，潞晨云微调SDK兼容其范式，实现算法设计与基础设施解耦，降低成本，提升人效，适用于多场景。
阿里杀进Agent上下文战场：钉钉聊天、企业文档、工作数据终于要被Agent吃进去了
个人、企业用户苦工作场景「上下文」久矣，Agent常不懂真实业务。阿里千问办公开源的「MyContext」，将分散工作数据加工成Agent可消费的上下文，处理多种难题，还将能力向组织延伸，助力Agent融入工作流。
给文档质量"打分"：DIQA-5000 数据集与融合版面语义的 DocIQ 质量评估模型
文档图像质量评估（DIQA）是评判‘增强算法有没有把图变好’的关键工具。过去研究多围绕自然图像，缺文档专用数据集。本文提出DIQA - 5000数据集和DocIQ模型，补齐缺口。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
Karpathy盛赞，啥都没有的创业公司刚融了1.8亿美元，要用小数据造强智能
AI创业公司Flapping Airplanes几乎无产品、盈利，也不急于商业化，却获1.8亿美元融资及Andrej Karpathy力挺。它专注解决“数据效率”问题，探索新思路，目标是做改变范式的研究。