搜索：训练数据合成

「训练数据合成」共找到 3987 篇相关文章

攻克结构化长文档检索难题！新框架让模型告别“结构性失明”

SEAL团队推出全新对比学习框架SEAL，通过带结构感知和元素对齐，将文档宏观层级结构和微观元素语义融入Embedding空间，提升模型对结构化数据的理解。在BGE - M3模型上提升了MRR@10指标，还开源了万级字数长文档数据集。

本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。

在第八届GAIR全球人工智能与机器人大会“数据&一脑多形”分论坛的圆桌论坛上，高飞、金鑫、王靖博三位学者围绕具身智能、空间智能、世界模型等话题展开讨论，探讨研究进展、挑战与机遇，还谈及创业和数据获取等问题。

InfoQ《极客有约》X QCon 直播栏目邀请专家探讨具身智能落地卡点。专家认为其虽面临模型泛化、数据采集等难题，但发展乐观。工业场景对通用性需求不大，Agent 架构或成关键，数据和物理交互等方面也有挑战。

IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。

麻省理工学院报告指出约95%生成式AI企业试点无实质回报，存在生成式AI鸿沟。工业AI落地难，中控技术的TPT及TPT 2模型，在兰州石化榆林化工应用效果好，其优势源于数据和行业经验，也体现了破局决心。

小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。

近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。