「FP8训练」共找到 2612 篇相关文章
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。
哈萨比斯出的难题，GPT之父接上了：用一个知识停在1930年的模型
GPT之父Alec Radford等用1931年前数据训练13B模型Talkie，切断现代知识污染。研究者测试其能力，探讨它对未来的“预感”、规避污染问题及数据多样性等，同时训练中也面临时间泄漏、数据质量等难题。
挑战Claude4的8B Agent！NUS提出AgenTracer：面向多智能体系统的失败归因
随着大语言模型发展，多智能体系统潜力大但失败率高。新加坡国立大学等机构研究者提出AgenTracer框架，构建标注管线、设计轻量级追踪器，在失败归因任务上超大型闭源模型，还能助力系统自我提升。
OpenAI开启“印钞机”模式？ChatGPT官宣引入广告，新增8美金/月Go版低价订阅服务
OpenAI宣布广告业务要来了，其低成本订阅服务ChatGPT Go将登陆美国及所有ChatGPT可用地区。未来几周将在美国免费版和Go版中测试广告，Pro、Business和Enterprise订阅方案无广告。还明确广告业务五大原则。
The Batch: 873 | 通过自监督学习实现更好得图像处理
Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。
不堆参数堆架构，这个8B开源模型把图像理解和生成统一了
商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。
李飞飞首个多模态世界模型 Atlas 正式发布：从零开始预训练，几张图就能构建世界
李飞飞创办的 World Labs 发布多模态世界模型 Atlas，可原生处理多类型数据，有世界生成、重建和模拟等能力。还介绍其研发历程、技术特点，以及 World Labs 收购、融资等情况。
小红书提出社交大模型RedOne 2.0：兼听、敏行
在SNS内容爆炸式增长的当下，传统SFT训练方法有局限。小红书NLP团队推出RedOne 2.0社交大模型，采用以RL为核心的三阶段渐进式训练方法，实验显示其性能优异，还能转化商业价值。
世界模型和具身大脑最新突破：90%生成数据，VLA性能暴涨300%｜开源
国产世界模型玩家获突破，VLA模型性能涨300%，90%训练数据由世界模型生成。极佳视界开源GigaWorld - 0及训练框架，在多方面优化，经对比性能领先，还验证其生成数据对具身任务的提升作用。
陈丹琦新作：大模型强化学习的第三条路，8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法，支持在基础模型上直接使用，节省后训练成本。它让模型生成CoT，用奖励模型评价输出，使小模型超越大模型，推理更像人类。