「长序列合成」共找到 867 篇相关文章
仅100种子题,合成数据质量超GPT-5,阿里、上交提出Socratic-Zero框架
阿里巴巴与上交大联合提出 Socratic-Zero 框架,仅从 100 个种子问题出发,通过三智能体协同进化生成高质量课程。该框架合成数据质量超 GPT - 5 等,Solver 性能提升显著,工程友好,开启零数据自进化新路径。
ICCV2025 | One image is all you need,多模态指令数据合成,你只管给图,剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词,成本高。本文提出 Oasis 方法,仅靠图像生成数据,打破传统输入模式,还开源代码库 MM - INF。实验显示其数据多样,能提升 MLLM 性能。
长文本生成迎来新突破:拓元智慧推出 DrDiff ,实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架,解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”,有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件,经测试表现良好,未来应用值得期待。
无损减少80%激活值内存,提升5倍训练序列长度,仅需两行代码
港中文(深圳)和上海交通大学团队提出 StreamBP 算法,通过线性分解和分步计算,将大语言模型训练激活值内存降至梯度检查点的 20%,在相同内存下最大序列长度为其 2.8 - 5.5 倍,代码已开源。
腾讯混元推出首款开源混合推理模型:擅长Agent工具调用和长文理解
6月27日,腾讯混元开源首个混合推理MoE模型Hunyuan - A13B,参数80B激活仅13B,推理快性价比高。它在多测试集成绩好,尤其擅长Agent工具调用和长文理解,还开源两数据集填补评估空白。
把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE,可丢弃位置嵌入扩展上下文,解决RoPE长序列处理缺陷,在多模型实验中表现卓越。该团队来自Sakana AI,此前还有相关研究成果。
0 融资、10 亿美元营收,数据标注领域真正的巨头,不认为合成数据是未来
Surge AI创始人Edwin Chen接受访谈,提出创业应解决问题而非融资,合成数据被高估,高质量数据才是壁垒。他还指出大语言模型竞技场误导训练方向,人类反馈永不过时,数据质量是AI发展首要瓶颈。
ICML spotlight | 一种会「进化」的合成数据!无需上传隐私,也能生成高质量垂域数据
大模型发展使数据短缺问题加剧,特殊领域更严重。为此提出合成数据自主进化框架PCEvolve,只需少量标注样本,就能在保护隐私同时进化出数据集,还介绍了其架构、选择器设计及实验结果。
2.4K Star!小米最新开源!覆盖600+语种的语音克隆TTS,40倍实时合成速度!
小米k2 - fsa团队开源OmniVoice,这是支持600 + 语种的零样本语音克隆TTS模型,性能超ElevenLabs v2和MiniMax等标杆,RTF低至0.025,合成速度快40倍,还支持声音设计等功能。
肝脏也能“按需定制”?科学家研发新型植入物,让肝组织在体内自己长
哈佛大学怀斯研究所团队研发“BOOST”策略,结合组织工程与合成生物学,创造可在体内远程接收成长指令的工程化肝脏构建体,在动物实验中实现植入后按需扩增,为解决肝脏移植供体短缺带来新希望。