「小样本学习」共找到 2422 篇相关文章
深度学习中Batch Size对训练过程如何影响?
文章分析深度学习中batch size对训练过程的影响,探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题,还通过MNIST实验,从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。
ROLL:面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架,专为LLM训练优化。它设计灵活,不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色,还采用创新机制提升效率,支持自定义操作,适合学术和业务场景。
小扎把马斯克机器人一号位挖走了
马斯克忙着裁人,小扎忙着挖人。Optimus AI团队负责人Ashish Kumar离开特斯拉,加入Meta。此前Optimus项目负责人Milan Kovac也已离职。此外,xAI部分高管因与顾问冲突而离职,马斯克AI之路或需调整架构。
张小珺对话OpenAI姚顺雨:生成新世界的系统
OpenAI研究员姚顺雨在播客访谈中分享诸多新颖观点。他认为创业公司机会在设计新交互方式,未来或产生超越ChatGPT的超级应用;还指出语言是实现泛化的工具,强化学习有泛化趋势,智能边界由不同超级应用共同定义。
上交博士最新思考:仅用两个问题讲清强化学习
上交博士 Kun Lei 博客提出用两个问题理解强化学习:数据从哪来、策略更新多频繁。借此梳理算法逻辑,还延伸到机器人基础模型,指出训练节奏与其实践契合。
可解释性杀疯了!结合机器学习,发顶会轻轻松松!
在机器学习领域,模型可解释性愈发重要。结合XAI技术能提升模型透明度与可信度,如预测儿童饮食多样性、心血管疾病分类准确率很高。还整理9篇相关论文,解析两篇文章创新点、方法和结论。
文本分类重大创新:持续学习新增类别,不会灾难遗忘
在生成环境中,传统文本分类方法新增业务标签需从头训练,易致知识灾难性遗忘。今天介绍的自适应分类器,通过四项创新,可实现动态类添加和持续学习,而不会发生灾难性遗忘。
启发学习:让大模型认知从外化到内生
当下大模型能力多靠人为框架,能力上限受限。文章提出“启发学习”,将其集成到推理侧成Isaac框架,通过Prompt与网络层注入复用旧经验,实验显示能大幅提升大模型任务性能。
jina-embeddings-v5-omni 发布!全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`,将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B,在多模态评测中表现优异,但视频是短板。其采用‘冻结 + 投影’架构,训练快、省显存。
突破瓶颈,嵌入式AI神经持续学习引擎—Replay4NCL
阿联酋、纽约、巴基斯坦大学研究人员推出Replay4NCL,解决嵌入式AI持续学习难题。它优化记忆重放,有创新架构和训练策略。实验显示其精度高、延迟低、省内存、能耗少,成果将在2025年DAC大会展示。