「模型训练难题」共找到 8589 篇相关文章
两个LLM互相对线，推理能力起飞：康奈尔团队发布大模型版类GAN训练法
康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble，通过对抗训练两模型提升推理能力，不依赖外部监督，在多模型实验中显著提升数学基准表现，不过在部分领域外任务有局限。
一个月的活一周干完！英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
绝对零监督Absolute Zero：类AlphaZero自博弈赋能大模型推理，全新零数据训练范式问世
清华大学 LeapLab 团队等提出全新推理训练范式 Absolute Zero，使大模型实现「自我进化式学习」。基于此范式训练的模型 AZR，在代码生成与数学推理基准任务表现出色，缓解了大模型对人工数据依赖难题。
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签
在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。
年度AI论文！全球三大顶尖模型的防蒸馏机制全面告破：小模型“套出”大模型隐藏思维链，Kimi-K3重现概率异常
这篇论文指出三大前沿AI模型厂商API有密码学旁路漏洞，攻击者用轻量级模型就能恢复大模型隐藏思维链数据。还揭示部分模型训练或借鉴大模型思维链，此漏洞也致企业数据隐私安全问题。
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。
五角大楼计划将绝密数据喂给AI，训练军事特供版模型
《麻省理工学院技术评论》称，五角大楼正讨论为生成式人工智能公司建安全环境，用机密数据训练军事特定版本模型。美国军方重构战略，推动先锋项目，还筹备用绝密数据训练模型，引发安全担忧。