「低数据场景」共找到 4738 篇相关文章
重新思考RLVR中的熵正则:从探索不足到探索过度的破局之路
2024年以来,RLVR使大模型在推理任务有显著突破,但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端,研究团队提出SIREN方法精准调控探索,实验显示其在多模型和数据集上性能提升显著。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
对话原力灵机周而进:模型2.4B就够用,关键是“具身原生”;能闭环才是最高效方法
原力灵机推出首个具身原生模型产品DM0,仅2.4B参数,却能支撑实时处理画面与真机进化。其合伙人周而进称要走具身原生路线,还介绍了数据采集、模型训练等多方面内容及公司发展规划。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
独家 | 乐聚发布垂域具身模型:一倍工业提效,两项榜单第一
AI科技评论独家获悉,乐聚机器人将推出面向工业场景的“垂域具身智能模型”——KUAVO VLA,该模型用600+小时真机数据进行中训练,能提效且减少适配与训练成本,两项指标排名第一,利好二次开发者。
PixelRefer :让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解,现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架,可实现精细视觉指代与推理,在多项任务表现领先,轻量版性能优,还开源两类数据集。
Auto Research时代,AI Scientist的第一场药企实习考验|甲子光年
AI Scientist从大模型做题家进化为自动化科研助手,但从demo到应用面临买单难题。Phylo等团队构建BiomniBench评估框架,让AI做药企真实数据分析,结果显示AI表现超人类实习生,且有速度和成本优势,但也存在偏科问题。
台积电“退场”,氮化镓市场影响几何?
近日,纳微半导体宣布将产品代工从台积电转至力积电,台积电决定2年内退出氮化镓业务。因其代工业务利润低,难达预期,且氮化镓市场竞争激烈。但氮化镓厂商积极应对,市场前景仍被看好。
AI 渗透金融行业:大模型如何破解风控、服务与决策难题?
在数字化与人工智能驱动下,金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融,涉及风控、服务、决策等难题,分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
100%纯血国产AI反超Suno!一个下午做出百万预算主题曲
流媒体平台Deezer数据显示,AI歌曲产能虽高但播放率低,尤其中文歌问题突出。音潮团队从底层重构音潮大模型V4.0,实现算力国产化,产品矩阵四线齐头并进,走出一条有别于Suno的发展路线。