「训练过程」共找到 2388 篇相关文章
万帧?单卡!智源研究院开源轻量级超长视频理解模型Video-XL-2
长视频理解是多模态大模型关键能力,当前开源模型有短板。智源研究院联合发布 Video-XL-2,多维度优化长视频理解能力,还设计效率优化策略,在主流评测基准表现出色,有广泛应用潜力。
360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集,包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本,能提升模型图文对齐能力,还介绍了构建方法、分析及应用前景。
大模型推理的“左右脑”革命!华为盘古Embedded凭昇腾之力,让快慢思考合二为一
传统大模型推理面临长链条深度思考与低时延反馈的矛盾,华为盘古团队提出盘古Embedded模型。基于昇腾NPU,其采用双系统认知架构,集成“快思考”与“慢思考”双推理模式,实现推理效率与精度协同提升。
中学生就能看懂:从零开始理解LLM内部原理【九】| 层归一化:神经网络的稳定器
本文是系列文章第九篇,介绍了神经网络中的层归一化。先回顾标准差、标准分概念,指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络,还加入可学习参数,最后总结其作用与应用位置。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
九成以上模型止步白银段位,只有3个铂金!通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段,下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架,剖析多模态大模型短板,推出五级评估体系和测试集,测试结果暴露模型弱点,引发社区积极反响。
Qwen突破:用「并行计算」代替「堆参数」,新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」,存在训练成本高、推理慢等问题。论文提出ParScale,用「并行计算」代替「堆参数」,让模型「分头思考」,推理效率提升22倍,旧模型也能改造,落地价值大。
蚂蚁武威:下一代「推理」模型范式大猜想
文章围绕下一代「推理」模型范式展开,蚂蚁技术研究院武威提出不同观点,认为长思维链推理未必最优,未来推理模型或更低维稳定,还探讨推理定义、重要性及解法猜想,如结合快慢思考等。
智源技术分享:大模型行业应用新模式和关键实现路径
在 AICon 大会上,智源研究院周华分享大模型行业应用。分析落地问题,提出以大模型为核心的技术路径,涵盖数据、训练等环节,还给出数据生产流程建议,分享最新开源成果。
以星为舵:LLM的Post-Train与Rest-Time奖励学习综述
这篇论文提出奖励信号像AI的“导航星”,引导模型优化行为。介绍奖励学习概念、来源、形式和策略,阐述其贯穿LLM生命周期的三个阶段,探讨奖励模型设计选择,还提及实际应用、挑战与未来方向。