「预训练数据精炼」共找到 3922 篇相关文章
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。
4000万样本炼出AI读心术，刷新七榜SOTA，最强「人类偏好感应器」开源
Skywork-Reward-V2全新发布，构建超高质量千万级人类偏好样本，刷新七大评测基准SOTA。8款模型覆盖6亿至80亿参数，小体积也能媲美大模型性能。团队引入多样大规模真实人类偏好数据，提升数据规模与质量。
大模型之外，向量存储如何支撑 Agent 的检索链路
文章指出大模型负责理解、推理和生成，而Agent需获取外部数据等。向量存储可将数据转化为语义向量，在Agent执行任务时找回相关内容。文章探讨向量存储技术方向，分享做法，还演示阿里云两种Serverless向量存储用法。
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
超越对数似然：模型能力连续体下的监督微调新范式
论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。
GLM-5正式发布，744B参数，对标Claude
GLM-5正式发布，对标Claude，参数从355B扩至744B，预训练数据增加。采用GlmMoeDsa架构，部署成本降低。数据表现佳，在多测试中成绩亮眼，还能直输Office文档，部署支持多框架和国产芯片，早期反馈积极。
攻克结构化长文档检索难题！新框架让模型告别“结构性失明”
SEAL团队推出全新对比学习框架SEAL，通过带结构感知和元素对齐，将文档宏观层级结构和微观元素语义融入Embedding空间，提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标，还开源了万级字数长文档数据集。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
「一脑多形」圆桌：世界模型、空间智能在具身智能出现了哪些具体进展？｜GAIR 2025
在第八届GAIR全球人工智能与机器人大会“数据&一脑多形”分论坛的圆桌论坛上，高飞、金鑫、王靖博三位学者围绕具身智能、空间智能、世界模型等话题展开讨论，探讨研究进展、挑战与机遇，还谈及创业和数据获取等问题。